《人工智能实践：Tensorflow笔记》听课笔记13_3.3反向传播

附：课程链接

第三讲.Tensorflow框架
3.3反向传播
由于个人使用Win7系统，并未完全按照课程所讲，以下记录的也基本是我的结合课程做的Windows系统+PyCharm操作。且本人有python基础，故一些操作可能简略。并未完全按照网课。

记住编写代码时，除注释内容外，字符均使用英文格式。

本节课程目标：搭建第一个神经网络，总结搭建八股。
9.反向传播：优化模型参数。
反向传播训练模型参数，在所有参数上用梯度下降的方法，使NN模型在训练数据上的损失函数最小。
损失函数（loss）：计算得到的预测值y与已知答案（预先提供的标签）y_的差距。

损失函数的计算有很多方法，均方误差MSE是常用的方法之一。
均方误差MSE：求前向传播计算结果与已知答案之差的平方再求平均：

用tensorflow函数可表示为：

loss = tf.reduce_mean(tf.square(y_-y))

反向传播训练方法：以减小loss值为优化目标。
可以使用梯度下降、Momentum优化器、Adam优化器的优化方法，这三种方法用tensorflow的函数分别可以表示为：

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

train_step = tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)

train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)

训练时选择其中一个即可。

这些优化器中都需要一个叫做学习率的参数。学习率是指每次参数更新的幅度。使用时，可以选用一个比较小的数填入，比如0.001。

接下来我们通过源代码进一步理解神经网络的实现过程：

"""
    导入模块，生成模拟数据集
"""
import tensorflow as tf #导入tensorflow模块，简写为tf
import numpy as np  #导入numpy模块，简写为np。numpy模块是python的科学计算模块
BATCH_SIZE = 8  #BATCH_SIZE表示一次喂入神经网络多少组数据，该数值不可过大
seed = 23455    #设置统一的seed使得随机生成结果一样，方便debug

#基于seed产生随机数
rng = np.random.RandomState(seed)   #利用随机种子生成数据集
#随机数返回32行2列的矩阵，表示32组[体积，重量]作为输入数据集
X = rng.rand(32,2)  #X为32组，每组两个特征
#用Y生成训练集对应的标签（正确答案），人为给出一个零件合格与否的评判标准
Y = [[int(x0 + x1 < 1)] for (x0,x1) in X]   #把（体积+重量）<1的零件，认为合格，标记为1；其余为不合格，标记为0
"""这只是因为我们手头没有数据集，虚拟的零件样本和和标签，神经网络通过这些数据进行训练，
神经网络训练判断零件是否合格是基于数据和概率的，它并不知道我们人为标注的方法
在以上这一条代码中，实现了数据标注的功能。
从列表X中抽取一行，也就是x0和x1。再判断x0 + x1的和，如果和小于1，则为真，把1赋值给Y，否则为假，把0赋值给Y。
这样就构建出了X和对应标签Y"""
print("X:",X)   #打印数据集X
print("Y:",Y)   #打印标签Y

"""
    1定义神经网络的输入、参数和输出，定义前向传播过程
"""
x = tf.placeholder(tf.float32,shape=(None,2))
#x为输入的特征，32位浮点型。shape的第一维None表示输入未知组数
#shape的第二维2表示每组有两个特征，即体积和重量
y_ = tf.placeholder(tf.float32,shape=(None,1))
#y_表示标准答案，也就是合格为1、不合格为0的标签。shape第一维None表示未知组数的标签
#shape的第二维为1，是因为每个标签只有一个元素，即合格或不合格的标记

w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))   #参数，输入是2个特征，故w1为2行，对应X
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))   #参数，输出是1个数，故w2为1列，对应Y
#参数要匹配输入和输出，隐藏层用3个神经元
#正态分布生成随机数，w1为2行3列，w2为3行1列。为保证生成结果一致，统一随机种子seed=1

#矩阵乘法实现前向传播过程描述
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

"""
    2定义损失函数及反向传播方法
"""
#反向传播中须指定损失函数loss
loss = tf.reduce_mean(tf.square(y-y_))  #用均方误差计算loss
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)    #选用梯度下降实现训练过程，学习率填入0.001
# train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss) #还可使用Momentum优化方法
# train_step = tf.train.AdamOptimizer(0.01).minimize(loss)  #还可使用Adam优化方法
#三种优化方法选择其一即可

"""
    3生成会话，训练STEPS轮
"""
with tf.Session() as sess:  #生成with结构
    init_op = tf.global_variables_initializer() #初始化所有变量
    sess.run(init_op)
    #输出目前（未经训练）的参数取值
    print("w1:\n",sess.run(w1)) #打印出优化前的参数w1
    print("w2:\n",sess.run(w2)) #打印出优化前的参数w2
    print("\n")

    #训练模型
    STEPS = 3000    #训练3000轮
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        #每轮从X的数据集和Y的标签中抽取相应的从start到end个特征和标签，喂入神经网络，用see.run执行训练过程
        if i % 500 == 0:    #每500轮打印一次loss值
            total_loss = sess.run(loss,feed_dict={x:X,y_:Y})
            print("After %d training step(s),loss on all data is %g"%(i,total_loss))

    #3000轮后，输出训练后的参数取值
    print("\n")
    print("w1:\n",sess.run(w1)) #打印出优化后的w1
    print("w2:\n",sess.run(w2)) #打印出优化后的w2

运行结果：
首先打印出了X（仅粘贴了部分结果）

和对应的标签Y

随后打印出随机生成的参数w1和w2，接下来是3000轮训练过程，最后打印出了经过3000轮训练后的参数。

大家①可以将代码中的训练次数（STEPS）增大，观察loss的减小过程，②还可以更改train_step为Momentum优化器或Adam优化器，试一下哪种优化器效果更好，③还可以更改BATCH_SIZE观察对loss的影响。

以下我进行验证，网课中未提及：
①将STEPS改作4000：

将STEPS改作5000：

②训练3000轮，换用Momentum优化器：

训练3000轮，换用Adam优化器：

③其余不变（3000轮训练+梯度下降的优化方法），改BATCH_SIZE为6：

其余不变（3000轮训练+梯度下降的优化方法），改BATCH_SIZE为10：

10.搭建神经网络的八股：准备、前向、反向、迭代
①准备：导入模块；常量定义；更改、优化甚至生成数据集
②前向传播：定义输入、参数和输出
③反向传播：定义损失函数、反向传播方法
④迭代：生成会话，初始化所有参数，定义循环轮数等操作

另附：助教的TensorFlow笔记3（有文有图）

第三讲至此结束。