tensorflow 小于_Tensorflow笔记四 -- 神经网络优化

上一篇：Tensorflow笔记三 -- 搭建神经网络

一、损失函数

神经网络的复杂度： 可用神经网络的层数和神经网络中待优化参数个数表示

神经网络的层数： 一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层

神经网络待优化的参数： 神经网络中所有参数 w 的个数 + 所有参数 b 的个数

例如：

在该神经网络中，包含 1 个输入层、1 个隐藏层和 1 个输出层，该神经网络的层数为 2 层。

在该神经网络中，参数的个数是所有参数 w 的个数加上所有参数 b 的总数，第一层参数用三行四列的二阶张量表示(即 12 个线上的权重 w)再加上 4 个偏置 b；第二层参数是四行两列的二阶张量(即 8 个线上的权重 w)再加上 2 个偏置 b。总参数 = 3*4+4 + 4*2+2 = 26。

损失函数(loss)： 用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。

常用的损失函数有均方误差、自定义和交叉熵等。

例如：

预测酸奶日销量 y，x1 和 x2 是影响日销量的两个因素。

应提前采集的数据有：一段时间内，每日的 x1 因素、x2 因素和销量 y_。采集的数据尽量多。

在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用 Tensorflow 中函数随机生成 x1、 x2，制造标准答案 y_ = x1 + x2，为了更真实，求和后还加了正负 0.05 的随机噪声。

我们把这套自制的数据集喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。

代码如下：

运行结果：

由上述代码可知，本例中神经网络预测模型为 y = w1x1 + w2x2，损失函数采用均方误差。通过使损失函数值(loss)不断降低，神经网络模型得到最终参数 w1=0.98，w2=1.02，销量预测结果为 y = 0.98x1 + 1.02x2。由于在生成数据集时，标准答案为 y = x1 + x2，因此，销量预测结果和标准答案已非常接近，说明该神经网络预测酸奶日销量正确。

自定义损失函数： 根据问题的实际情况，定制合理地损失函数

例如：

①若酸奶成本为 1 元，酸奶销售利润为 9 元，则制造成本小于酸奶利润，因此希望预测的结果 y 多一些。采用上述的自定义损失函数，训练神经网络模型。

代码如下：

运行结果如下：

由代码执行结果可知，神经网络最终参数为 w1=1.03， w2=1.05，销量预测结果为 y =1.03x1 + 1.05x2。由此可见，采用自定义损失函数预测的结果大于采用均方误差预测的结果，更符合实际需求。

②若酸奶成本为 9 元，酸奶销售利润为 1 元，则制造成本大于酸奶利润，因此希望预测结果 y 小一些。采用上述的自定义损失函数，训练神经网络模型。

代码如下：

运行结果如下：

由执行结果可知，神经网络最终参数为 w1=0.96，w2=0.97，销量预测结果为 y =0.96x1 + 0.97x2。因此，采用自定义损失函数预测的结果小于采用均方误差预测的结果，更符合实际需求。

交叉熵(Cross Entropy)：表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。

二、学习率

学习率 learning_rate： 表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。

在训练过程中，参数的更新向着损失函数梯度下降的方向。

参数的更新公式为：

由图可知，损失函数 loss 的最小值会在(-1,0)处得到，此时损失函数的导数为 0,得到最终参数 w = -1。代码如下：

运行结果如下：

由结果可知，随着损失函数值的减小，w 无限趋近于-1，模型计算推测出最优参数 w = -1。

学习率的设置

学习率过大，会导致优化的参数在最小值附近波动，不收敛；学习率过小，会导致优化的参数收敛缓慢。

例如：

①对于上例的损失函数 loss=(w+1)^2 。则将上述代码中学习率修改为 1，其余内容不变。

实验结果如下：

由运行结果可知，损失函数 loss 值并没有收敛，而是在 5 和-7 之间波动。

②对于上例的损失函数 loss=(w+1)^2 。则将上述代码中学习率修改为 0.0001，其余内容不变。

实验结果如下：

由运行结果可知，损失函数 loss 值缓慢下降，w 值也在小幅度变化，收敛缓慢。

指数衰减学习率： 学习率随着训练轮数变化而动态更新

学习率计算公式如下：

其中，LEARNING_RATE_BASE 为学习率初始值，LEARNING_RATE_DECAY 为学习率衰减率,global_step 记录了当前训练轮数，为不可训练型参数。学习率 learning_rate 更新频率为输入数据集总样本数除以每次喂入样本数。若 staircase 设置为 True 时，表示 global_step/learning rate step 取整数，学习率阶梯型衰减；若 staircase 设置为 false 时，学习率会是一条平滑下降的曲线。

例如：

在本例中，模型训练过程不设定固定的学习率，使用指数衰减学习率进行训练。其中，学习率初值设置为 0.1，学习率衰减率设置为 0.99，BATCH_SIZE 设置为 1。

代码如下：

运行结果如下：

由结果可以看出，随着训练轮数增加学习率在不断减小。

三、滑动平均

滑动平均： 记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均值可以增强模型的泛化能力。

代码如下：

运行结果如下：

从运行结果可知，最初参数 w1 和滑动平均值都是 0；参数 w1 设定为 1 后，滑动平均值变为 0.9；当迭代轮数更新为 100 轮时，参数 w1 更新为 10 后，滑动平均值变为 1.644。随后每执行一次，参数 w1 的滑动平均值都向参数 w1 靠近。可见，滑动平均追随参数的变化而变化。

四、正则化

过拟合： 神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低，说明模型的泛化能力差。

正则化： 在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。

在本例中，我们使用了之前未用过的模块与函数：

matplotlib 模块：Python 中的可视化工具模块，实现函数可视化

终端安装指令：sudo pip install matplotlib

函数 plt.scatter()：利用指定颜色实现点(x,y)的可视化

plt.scatter (x 坐标, y 坐标, c=”颜色”)

plt.show()

收集规定区域内所有的网格坐标点：

xx, yy = np.mgrid[起:止:步长, 起:止:步长] #找到规定区域以步长为分辨率的行列网格坐标点

grid = np.c_[xx.ravel(), yy.ravel()] #收集规定区域内所有的网格坐标点

plt.contour()函数：告知 x、y 坐标和各点高度，用 levels 指定高度的点描上颜色

plt.contour (x 轴坐标值, y 轴坐标值, 该点的高度, levels=[等高线的高度])

plt.show()

代码如下：

执行代码，效果如下：

首先，数据集实现可视化，x0^2 + x1^2 ​< 2 的点显示红色，x0^2 + x1^2 ​>= 2 的点显示蓝色，如图所示：

接着，执行无正则化的训练过程，把红色的点和蓝色的分开，生产曲线如下图所示：

最后，执行有正则化的训练过程，把红色的点和蓝色的点分开，生成曲线如下图所示：

对比无正则化与有正则化模型的训练结果，可看出有正则化模型的拟合曲线平滑，模型具有更好的泛化能力。

五、搭建模块化神经网络八股

前向传播：由输入到输出，搭建完整的网络结构

描述前向传播的过程需要定义三个函数：

def forward(x, regularizer):w=b=y=return y

第一个函数 forward() 完成网络结构的设计，从输入到输出搭建完整的网络结构，实现前向传播过程。该函数中，参数 x 为输入，regularizer 为正则化权重，返回值为预测或分类结果 y。

def get_weight(shape, regularizer):w = tf.Variable( )tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))return w 

第二个函数 get_weight() 对参数 w 设定。该函数中，参数 shape 表示参数 w 的形状，regularizer 表示正则化权重，返回值为参数 w。其中，tf.variable() 给 w 赋初值，tf.add_to_collection() 表示将参数 w 正则化损失加到总损失 losses 中。

def get_bias(shape):b = tf.Variable( )return b

第三个函数 get_bias()对参数 b 进行设定。该函数中，参数 shape 表示参数 b 的形状,返回值为参数 b。其中，tf.variable() 表示给 b 赋初值。

反向传播：训练网络，优化网络参数，提高模型准确性。

def backward( ):x = tf.placeholder( )y_ = tf.placeholder( )y = forward.forward(x, REGULARIZER)global_step = tf.Variable(0, trainable=False)loss = 

函数 backward()中，placeholder()实现对数据集 x 和标准答案 y_占位，forward.forward()实现前向传播的网络结构，参数 global_step 表示训练轮数，设置为不可训练型参数。

在训练网络模型时，常将正则化、指数衰减学习率和滑动平均这三个方法作为模型优化方法。

在 Tensorflow 中，正则化表示为：

首先，计算预测结果与标准答案的损失值

①MSE： y 与 y_的差距(loss_mse) = tf.reduce_mean(tf.square(y-y_))

②交叉熵：

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))

y 与 y_的差距(cem) = tf.reduce_mean(ce)

③自定义：y 与 y_的差距

其次，总损失值为预测结果与标准答案的损失值加上正则化项

loss = y 与 y_的差距 + tf.add_n(tf.get_collection(‘losses’))

在 Tensorflow 中，指数衰减学习率表示为：

learning_rate = tf.train.exponential_decay( LEARNING_RATE_BASE, global_step, 数据集总样本数 / BATCH_SIZE, LEARNING_RATE_DECAY, staircase=True)train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)

在 Tensorflow 中，滑动平均表示为：

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)ema_op = ema.apply(tf.trainable_variables())with tf.control_dependencies([train_step, ema_op]): train_op = tf.no_op(name='train') 

其中，滑动平均和指数衰减学习率中的 global_step 为同一个参数。

用 with 结构初始化所有参数

with tf.Session() as sess:init_op = tf.global_variables_initializer() sess.run(init_op) for i in range(STEPS): sess.run(train_step, feed_dict={x: , y_: }) if i % 轮数 == 0: print 

其中，with 结构用于初始化所有参数信息以及实现调用训练过程，并打印出 loss 值。

判断 python 运行文件是否为主文件

if __name__=='__main__':backward() 

该部分用来判断 python 运行的文件是否为主文件。若是主文件，则执行 backword()函数。

例如：

用 300 个符合正态分布的点 X[x0, x1]作为数据集，根据点 X[x0, x1]的不同进行标注 Y_，将数据集标注为红色和蓝色。标注规则为：当 x0^2 + x1^2 ​< 2 时，y_ = 1，点X标注为红色；当 x0^2 + x1^2 ​>= 2 时，y_ = 0，点X标注为蓝色。我们加入指数衰减学习率优化效率，加入正则化提高泛化性，并使用模块化设计方法，把红色点和蓝色点分开。

代码总共分为三个模块：生成数据集 (generateds.py)、前向传播(forward.py)、反向传播(backward.py)。

①生成数据集的模块(generateds.py)

②前向传播模块(forward.py)

③反向传播模块(backward.py)

运行代码，结果如下：

由运行结果可见，程序使用模块化设计方法，加入指数衰减学习率，使用正则化后，红色点和蓝色点的分割曲线相对平滑，效果变好。

中国MOOC大学 - - 人工智能实践：Tensorflow笔记