Tensorflow基本开发步骤——以逻辑回归拟合二维数据为例

深度学习大概有如下四个步骤：准备数据，搭建模型，迭代训练和使用模型。

一、准备数据

使用y=2x作为主体，通过加入一些随机干扰噪声产生一组数据。代码如下：

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
train_x=np.linspace(-1,1,100)
train_y=2*train_x+np.random.randn(100)*0.3
plt.plot(train_x,train_y,'go',label='Original data')
plt.legend()
plt.show()

生成的图像为：

第三行的linspace函数原型为numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)，该函数的功能是在指定的范围内按照固定的间隔生成数字，该间隔由设置的num自动切分，num默认值是50，可以自由设置但必须为非负。endpoint如果为真则产生的数字包括stop，否则不包括，该参数默认为True。如果retstep参数为真，则返回的结果还包括数字之间的间隔大小，该参数默认为False。dtpye设置输出数组的类型，默认为None，根据其他输入类型来判断。

第四行的np.random.randn函数，生成随机的标准正态分布的数值，如果参数为一个数，则生成该数目的随机数，如果参数为两个以上，则生成对应张量形状的随机数。

二、搭建模型

神经网络在训练的过程中需要通过正向生成一个预测值，观察与真实值的的差距以后，通过一些算法反向调整原来设定的初始参数，然后再生成预测值。一直循环下去这个过程，直到将参数调整到合适的值为止。

创建正向模型的代码段如下所示：

x=tf.placeholder('float')
y=tf.placeholder('float')
w=tf.Variable(tf.random_normal([1]),name='weight')
b=tf.Variable(tf.zeros([1]),name='bias')
z=tf.multiply(x,w)+b

后面要解释占位符，变量和为什么要用tf的乘法而不能直接用乘法符号。

下面是反向优化代码：

cost=tf.reduce_mean(tf.square(y-z))
learning_rate=0.05
optimizer=tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

学习率代表着调整参数的速度，梯度下降算法以学习率作为参数。

三、迭代训练模型

迭代训练的代码如下：

init=tf.global_variables_initializer()      #初始化所有变量
training_epochs=100      #迭代次数
display_step=4      #显示训练结果的间隔
with tf.Session() as sess:     #启动Session
    sess.run(init)
    plotdata={'batchsize':[],'loss':[]}     #构建两个字典用以存放批次值和损失值
    for epoch in range(training_epochs):    #向模型中输入数据
        for (x_data,y_data) in zip(train_x,train_y):        #在映射中取出映射对数据
            sess.run(optimizer,feed_dict={x:x_data,y:y_data})
        if epoch % display_step == 0:
            loss=sess.run(cost,feed_dict={x:x_data,y:y_data})
            print('Epoch:',epoch+1,'cost:',loss,'w:',sess.run(w),'b:',sess.run(b))
            if not (loss == 'NA'):
                plotdata['batchsize'].append(epoch)
                plotdata['loss'].append(loss)
    print('finished')
    print('cost:',sess.run(cost,feed_dict={x:x_data,y:y_data}),'w:',sess.run(w),'b:',sess.run(b))

可以看出，在利用Tensorflow实现时，除了赋值定义参数意外，所有的计算操作都需要在Session中运行。第8行中的zip函数将可迭代的对象打包为元组组成的列表，实现一一对应的关系。第9行每运行一次优化算法，就会修改参数值w和b。第13行的判断句是一个安全检查，保证loss不出错时才允许其输出。运行结果如下图所示：

四、使用模型

训练好模型以后，往模型里面传递一个参数x即可，代码如下：

    print('cost:',sess.run(cost,feed_dict={x:x_data,y:y_data}),'w:',sess.run(w),'b:',sess.run(b))
    print('x=0.2,z:',sess.run(z,feed_dict={x:0.2}))

得到结果为：

Tensorflow将中间节点间的运算关系（OPS）定义在自己内部的一个“图”上，通过一个会话（Session）进行OPS中的具体运算。图是静态的，只是将关系搭建在一起，不会有任何计算发生。而会话是动态的，只有启动会话，才能使得数据流入图中，并按照图中的关系运算，并将最终的运算结果从图中流出。

Tensorflow开发的基本步骤是：（1）定义输入节点；（2）定义“学习参数”变量；（3）定义“运算”；（4）优化函数，优化目标；（5）初始化所有变量；（6）迭代更新参数到最优解；（7）测试模型；（8）使用模型。

 定义节点和学习参数的方法一般通过占位符或者字典类型定义，字典类型用于输入较多的情况。

inputdict={'x':tf.placeholder('float'),'y':tf.placeholder('float')}#输入节点
paradict={'w':tf.Variable（tf.random_normal([1]）),
                           'b':tf.Variable(tf.zeros([1]))}        #模型参数

定义“运算”的过程是建立模型的核心过程，直接决定了模型的拟合效果。定义运算主要包括定义正向传播模型和定义损失函数。损失函数近几年没有太大的变化，只需要记住常见的几种就可以，不需要掌握太多的细节，tensorflow已经做好了框架。

有了正向结构和损失函数后，就可以通过优化函数来优化学习参数了，这个过程是在反向传播中完成的。反向传播过程的技术会达到一定程度的瓶颈，更新不会像网络结构那么快。

在session创建好以后，第一个要做的就是初始化。需要注意的是，在使用tf.global_variables_initializer函数初始化所有变量的步骤，一定要在定义这些变量和运算以后。

迭代更新参数到最优解。在迭代训练环节，都是需要通过建立一个session来完成的，通常使用with语法，可以再session结束后自行关闭。run里面放置的是优化操作的运算，同时会在外层加上循环次数。

一般会把生成的模型保存起来，再通过载入已有的模型来进行实际的使用。