TensorFlow学习笔记之三（神经网络的优化)

1. 使用激活函数去线性化（为什么要用激活函数）

TensorFlow游乐场：http://playground.tensorflow.org

对于上一篇的网络TensorFlow笔记之二可以抽象为如下形式，

$$\begin{array}{c}\left[\begin{array}{c}y\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\end{array}\right]\end{array}\ast \begin{array}{c}\left[\begin{array}{c}{w}_{1,1}^{(2)}\\ w_{2,1}^{(2)}\\ w_{2,1}^{(2)}\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\end{array}\ast \begin{array}{c}\left[\begin{array}{ccc}{w}_{1,1}^{(1)}& w_{1,2}^{(1)}& w_{1,3}^{(1)}\\ w_{2,1}^{(1)}& w_{2,2}^{(1)}& w_{2,3}^{(1)}\end{array}\right]\end{array}\ast \begin{array}{c}\left[\begin{array}{c}{w}_{1,1}^{(2)}\\ w_{2,1}^{(2)}\\ w_{2,1}^{(2)}\end{array}\right]\end{array}$$
其中，令：
$$W^{{}^{\prime }}=W^{(1)}{W}^{(2)}=\begin{array}{c}\left[\begin{array}{ccc}{w}_{1,1}^{(1)}& w_{1,2}^{(1)}& w_{1,3}^{(1)}\\ w_{2,1}^{(1)}& w_{2,2}^{(1)}& w_{2,3}^{(1)}\end{array}\right]\end{array}\ast \begin{array}{c}\left[\begin{array}{c}{w}_{1,1}^{(2)}\\ w_{2,1}^{(2)}\\ w_{2,1}^{(2)}\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{c}{w}_1^{{}^{\prime }}\\ w_2^{{}^{\prime }}\end{array}\right]\end{array}$$
这样，就可以得出
$$\begin{array}{c}\left[\begin{array}{c}y\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\end{array}\ast \begin{array}{c}\left[\begin{array}{c}{w}_1^{{}^{\prime }}\\ w_2^{{}^{\prime }}\end{array}\right]\end{array}=w_1^{{}^{\prime }}{x}_1+w_2^{{}^{\prime }}{x}_2$$
可以看出，该网络虽然有两层，但是它在本质上与单层神经网络没有区别，因为它可以被一个单层网络表示。由此可以推断，如果只是每个神经元只是单纯的线性变换，多层的全连接网络与单层的全连接网络的表达能力没有区别（通过矩阵运算，最终都会变成一个矩阵）。它们最终都是y是关于x1和x2的一个线性模型，而且线性模型解决问题的能力是有限的，这就是线性模型的最大局限性。

实验证明线性模型的局限性

本次实验在TensorFlow游乐场中进行。

情景模拟：现在根据x1（零件长度与平均长度的差）和x2（零件质量与平均质量的差）来判断一个零件是否合格（二分类问题）。因此，当一个零件的长度和质量越接近平均值（x1和x2接近零），那么这个零件越可能合格。那么它可能呈现如下分布

图中蓝色的点代表合格的零件（x1和x2接近零）。黄色的点代表不合格的（x1或x2偏大）。
将激活函数选择线性模型。训练100轮后

发现并不能很好的将零件区分开来。

将激活函数选择ReLu，训练100轮。

可以发现模型很好的将零件区分开来了。

常用激活函数

2. 神经网络复杂度：用网络层数和网络参数的个数表示

由于输入层只接受数据，不做计算故输入层不算层数。

3. 损失函数(loss)：预测值(y)与已知答案(y_)的差距

网络优化目标：loss最小。
常用loss：

1. mse(Mean Squared Error) 均方误差
2. 自定义
3. ce(Cross Entropy)交叉熵

均方误差mse

当预测值(y)与已知答案(y_)越接近–>均方误差MSE(y_, y)越接近0–>损失函数的值越小–模型预测效果越好

预测酸奶模型

# 预测

import tensorflow as tf
import numpy as np

BATCH_SIZE = 8
seed = 23455

# 基于seed产生随机数
rng = np.random.RandomState(seed=seed)
X = rng.rand(32, 2)
Y_ = [[x1+x2+(rng.rand()/10.0-0.05)] for (x1, x2) in X]
Y = [[int(x0 + x1 <1)] for (x0, x1) in X]



# 1、定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32,shape=(None, 2))  # 知道每组有两个特征变量，但是不知道多少组，用None占位
y_ = tf.placeholder(tf.float32,shape=(None, 1)) # 存放真实的结果值，合格为1，

w1 = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1))


y = tf.matmul(x, w1)

# 2、定义损失函数以及反向传播方法
loss = tf.reduce_mean(tf.square(y-y_)) # 使用均方误差计算loss
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss) # 学习率为0.001,并让损失函数让减小的方向优化

# 3、生成会话，训练STEPS轮
with tf.Session() as sess:

    # 3.1、初始化参数值
    init_op = tf.global_variables_initializer()
    sess.run(init_op)

    print("w1:\n", sess.run(w1))
    print("\n")

    # 3.2、训练模型
    STEPS = 30000
    for i in range(STEPS):

        # 3.2.1 每轮确定读取数据集的游标
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE

        # 3.2.2 喂入数据，开始训练
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y_[start:end]})


        # 3.2.3 每500轮输出一次loss值
        if i % 500 == 0:
            print("每500轮输出一次w1的值\n")
            print(sess.run(w1), "\n")
            total_loss = sess.run(loss, feed_dict={x: X, y_: Y})
            print("After % dtraining step(s), cross entropy on all data is % g" % (i, total_loss))

    print("w1:\n", sess.run(w1))

交叉熵ce（Cross Entropy）：表征两个概率分布之间的距离

$$H(y_{,}y)=-\Sigma y_{-}\ast logy$$

4. softmax()函数：让n分类问题的n个输出(y1,y2, …yn)满足概率分布

$$\forall xP(X=x)\in [0,1]且\sum _{x}P(X=x)=1softmax(y[])$$
前面已经讲过，损失函数是用来衡量模型预测值与真实值之间的差值。即模型好坏的标准。一个模型越好，它的损失函数越小。因此，
神经网络的优化=减小损失函数

5. 学习率(learning_rate)：决定每次参数更新的幅度

$$w_{n+1}=w_n-learnin{g}_{r}ate$$

6. 滑动平均

滑动平均（影子值）：记录了每个参数一段时间内过往值得平均，增加了模型的泛化性。
针对所有的参数：w和b（类似给参数加了影子，参数变化，影子缓慢追随）
影子初始值=参数初始值
影子(滑动平均值) = 衰减率 * 影子 + （1-衰减率）* 参数
衰减率 = min{MOVING_AVERAGE_DECAY, （1+轮数）/（10+轮数）}

栗子：
MOVING_AVERAGE_DECAY（超参数：训练之前设置的参数）为0.99，
参数w1初始值为0
w1的滑动平均初始值为0

轮数global_step=0
w1 = 1
w1滑动平均值 = 0

衰减率 = min(0.99, 1/10)=0.1
w1滑动平均值 = 0.1 * 0 +(1-0.1) *1 = 0.9
所以，第0轮过后，w1的滑动平均值更新为0.9

global_step=100
w1 = 10
w1滑动平均值 = 0.9

衰减率 = min(0.99, 101/110)=0.918
w1滑动平均值 = 0.918 * 0.9 +(1-0.918) *10 = 0.8262 + 0.82 = 1.6482（误差由于四舍五入引起）

7. 正则化

正则化的意义是为了防止过拟合。