TensorFlow-4: tf.contrib.learn 快速入门

原创 2017年04月26日 10:39:52

学习资料:
https://www.tensorflow.org/get_started/tflearn

相应的中文翻译:
http://studyai.site/2017/03/05/%E3%80%90Tensorflow%20r1.0%20%E6%96%87%E6%A1%A3%E7%BF%BB%E8%AF%91%E3%80%91%E3%80%90tf.contrib.learn%E5%BF%AB%E9%80%9F%E5%85%A5%E9%97%A8%E3%80%91/


今天学习用 tf.contrib.learn 来建立 DNN 对 Iris 数据集进行分类.

问题:
我们有 Iris 数据集,它包含150个样本数据,分别来自三个品种,每个品种有50个样本,每个样本具有四个特征,以及它属于哪一类,分别由 0,1,2 代表三个品种。
我们将这150个样本分为两份,一份是训练集具有120个样本,另一份是测试集具有30个样本。
我们要做的就是建立一个神经网络分类模型对每个样本进行分类,识别它是哪个品种。

一共有 5 步:

  • 导入 CSV 格式的数据集
  • 建立神经网络分类模型
  • 用训练数据集训练模型
  • 评价模型的准确率
  • 对新样本数据进行分类

代码:

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import os
import urllib

import numpy as np
import tensorflow as tf

# Data sets
IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"

IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"

def main():
  # If the training and test sets aren't stored locally, download them.
  if not os.path.exists(IRIS_TRAINING):
    raw = urllib.urlopen(IRIS_TRAINING_URL).read()
    with open(IRIS_TRAINING, "w") as f:
      f.write(raw)

  if not os.path.exists(IRIS_TEST):
    raw = urllib.urlopen(IRIS_TEST_URL).read()
    with open(IRIS_TEST, "w") as f:
      f.write(raw)

  # Load datasets.
  training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
      filename=IRIS_TRAINING,
      target_dtype=np.int,
      features_dtype=np.float32)
  test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
      filename=IRIS_TEST,
      target_dtype=np.int,
      features_dtype=np.float32)

  # Specify that all features have real-value data
  feature_columns = [tf.contrib.layers.real_valued_column("", dimension=4)]

  # Build 3 layer DNN with 10, 20, 10 units respectively.
  classifier = tf.contrib.learn.DNNClassifier(feature_columns=feature_columns,
                                              hidden_units=[10, 20, 10],
                                              n_classes=3,
                                              model_dir="/tmp/iris_model")
  # Define the training inputs
  def get_train_inputs():
    x = tf.constant(training_set.data)
    y = tf.constant(training_set.target)

    return x, y

  # Fit model.
  classifier.fit(input_fn=get_train_inputs, steps=2000)

  # Define the test inputs
  def get_test_inputs():
    x = tf.constant(test_set.data)
    y = tf.constant(test_set.target)

    return x, y

  # Evaluate accuracy.
  accuracy_score = classifier.evaluate(input_fn=get_test_inputs,
                                       steps=1)["accuracy"]

  print("\nTest Accuracy: {0:f}\n".format(accuracy_score))

  # Classify two new flower samples.
  def new_samples():
    return np.array(
      [[6.4, 3.2, 4.5, 1.5],
       [5.8, 3.1, 5.0, 1.7]], dtype=np.float32)

  predictions = list(classifier.predict(input_fn=new_samples))

  print(
      "New Samples, Class Predictions:    {}\n"
      .format(predictions))

if __name__ == "__main__":
    main()

从代码可以看出很简短的几行就可以完成之前学过的很长的代码所做的事情,用起来和用 sklearn 相似。

关于 tf.contrib.learn 可以查看:
https://www.tensorflow.org/api_guides/python/contrib.learn

可以看到里面也有 kmeans,logistic,linear 等模型:


在上面的代码中:

  • tf.contrib.learn.datasets.base.load_csv_with_header 可以导入 CSV 数据集。
  • 分类器模型只需要一行代码,就可以设置这个模型具有多少隐藏层,每个隐藏层有多少神经元,以及最后分为几类。
  • 模型的训练也是只需要一行代码,输入指定的数据,包括特征和标签,再指定迭代的次数,就可以进行训练。
  • 获得准确率也同样很简单,只需要输入测试集,调用 evaluate。
  • 预测新的数据集,只需要把新的样本数据传递给 predict。

关于代码里几个新的方法:

1. load_csv_with_header():

用于导入 CSV,需要三个必需的参数:

  • filename,CSV文件的路径
  • target_dtype,数据集的目标值的numpy数据类型。
  • features_dtype,数据集的特征值的numpy数据类型。

在这里,target 是花的品种,它是一个从 0-2 的整数,所以对应的numpy数据类型是np.int

2. tf.contrib.layers.real_valued_column:

所有的特征数据都是连续的,因此用 tf.contrib.layers.real_valued_column,数据集中有四个特征(萼片宽度,萼片高度,花瓣宽度和花瓣高度),因此 dimension=4 。

feature_columns = [tf.contrib.layers.real_valued_column("", dimension=4)]

3. DNNClassifier:

  • feature_columns=feature_columns, 上面定义的一组特征
  • hidden_units=[10, 20, 10],三个隐藏层分别包含10,20,10个神经元。
  • n_classes=3,三个目标类,代表三个 Iris 品种。
  • model_dir=/tmp/iris_model,TensorFlow在模型训练期间将保存 checkpoint data。

在后面会学到关于 TensorFlow 的 logging and monitoring 的章节,可以 track 一下训练中的模型: “Logging and Monitoring Basics with tf.contrib.learn”。


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

TensorFlow源码阅读——tensorflow.contrib.learn.python.learn.datasets目录

minist.py此模块下载并读取MNIST数据。导入的tensorflow模块为from tensorflow.contrib.learn.python.learn.datasets import ...
  • VictoriaW
  • VictoriaW
  • 2017年03月10日 12:39
  • 2924

TensorFlow学习笔记6----tf.contrib.learn Quickstart

原文教程:tensorflow官方教程 翻译教程:极客学院记录关键内容与学习感受。未完待续。。tf.contrib.learn 快速介绍——tf.contrib.learn是tensorflow高级...
  • liuxiao214
  • liuxiao214
  • 2017年05月09日 10:19
  • 567

05:Tensorflow高级API的进阶--利用tf.contrib.learn建立输入函数

标签(空格分隔): 王小草Tensorflow笔记笔记整理者:王小草 笔记整理时间:2017年2月27日 笔记对应的官方文档:https://www.tensorflow.org/get_star...
  • sinat_33761963
  • sinat_33761963
  • 2017年03月16日 18:44
  • 4586

TensorFlow 0.12 Estimators Models Layers学习笔记

TensorFlow在tensorflow.contrib包中有很多封装好的工具,最近在学习中用到了一些模块,在这里做一些笔记。Estimators位于tensorflow.contrib.learn...
  • ligang_csdn
  • ligang_csdn
  • 2016年12月29日 21:50
  • 3586

Tensorflow slim库使用小记

Tensorflow slim库使用小记slim库是tensorflow中的一个高层封装,它将原来很多tf中复杂的函数进一步封装,省去了很多重复的参数,以及平时不会考虑到的参数。可以理解为tensor...
  • Cyiano
  • Cyiano
  • 2017年07月12日 10:54
  • 6705

tensorflow学习笔记十四:TF官方教程学习 tf.contrib.learn Quickstart

TensorFlow高级API(tf.contrib.learn)及可视化工具TensorBoard的使用 一.TensorFlow高层次机器学习API (tf.contrib.learn)...
  • xiaopihaierletian
  • xiaopihaierletian
  • 2017年03月16日 14:55
  • 8034

学习使用tf.contrib.learn框架开发机器学习程序

最近在学习用TensorFlow开发CNN的时候,看到官方的一篇教程Creating Estimators in tf.contrib.learn,介绍了使用封装好的一些工具开发训练程序的方法,觉得很...
  • ligang_csdn
  • ligang_csdn
  • 2016年12月30日 15:47
  • 6460

汐月教育之理解TensorFlow(二)基础理解

作者:JUDGE_MENT 邮箱:gao19920804@126.com CSDN博客:http://blog.csdn.net/sinat_23137713 最后编辑时间:2016.12.5  V...
  • sinat_23137713
  • sinat_23137713
  • 2016年12月06日 20:07
  • 1713

Tensorflow | 读取csv文件

如何将CSV数据读入到tensorflow中,这个问题困扰了我好几天,下面来说一种我现在用到的方法。 待有新的读取方法 ,本帖保持更新以一个案例来切入:#加载包 from __future__ imp...
  • xxzhangx
  • xxzhangx
  • 2017年01月22日 11:05
  • 8303

深度学习tensorflow教程-DNNClassifer

支持原文 http://shuaizhang.tech/2016/12/10/Tensorflow-Tutorial-4-DNNClassifier/DNNClassifier从前面的例子可以看出,...
  • zhangshuaizaxia
  • zhangshuaizaxia
  • 2016年12月10日 20:47
  • 5536
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TensorFlow-4: tf.contrib.learn 快速入门
举报原因:
原因补充:

(最多只允许输入30个字)