附:课程链接
第三讲.Tensorflow框架
3.3反向传播
由于个人使用Win7系统,并未完全按照课程所讲,以下记录的也基本是我的结合课程做的Windows系统+PyCharm操作。且本人有python基础,故一些操作可能简略。并未完全按照网课。
记住编写代码时,除注释内容外,字符均使用英文格式。
本节课程目标:搭建第一个神经网络,总结搭建八股。
9.反向传播:优化模型参数。
反向传播训练模型参数,在所有参数上用梯度下降的方法,使NN模型在训练数据上的损失函数最小。
损失函数(loss):计算得到的预测值y与已知答案(预先提供的标签)y_的差距。
损失函数的计算有很多方法,均方误差MSE是常用的方法之一。
均方误差MSE:求前向传播计算结果与已知答案之差的平方再求平均:
用tensorflow函数可表示为:
loss = tf.reduce_mean(tf.square(y_-y))
反向传播训练方法:以减小loss值为优化目标。
可以使用梯度下降、Momentum优化器、Adam优化器的优化方法,这三种方法用tensorflow的函数分别可以表示为:
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step = tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)
train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)
训练时选择其中一个即可。
这些优化器中都需要一个叫做学习率的参数。学习率是指每次参数更新的幅度。使用时,可以选用一个比较小的数填入,比如0.001。
接下来我们通过源代码进一步理解神经网络的实现过程:
"""
导入模块,生成模拟数据集
"""
import tensorflow as tf #导入tensorflow模块,简写为tf
import numpy as np #导入numpy模块,简写为np。numpy模块是python的科学计算模块
BATCH_SIZE = 8 #BATCH_SIZE表示一次喂入神经网络多少组数据,该数值不可过大
seed = 23455 #设置统一的seed使得随机生成结果一样,方便debug
#基于seed产生随机数
rng = np.random.RandomState(seed) #利用随机种子生成数据集
#随机数返回32行2列的矩阵,表示32组[体积,重量]作为输入数据集
X = rng.rand(32,2) #X为32组,每组两个特征
#用Y生成训练集对应的标签(正确答案),人为给出一个零件合格与否的评判标准
Y = [[int(x0 + x1 < 1)] for (x0,x1) in X] #把(体积+重量)<1的零件,认为合格,标记为1;其余为不合格,标记为0
"""这只是因为我们手头没有数据集,虚拟的零件样本和和标签,神经网络通过这些数据进行训练,
神经网络训练判断零件是否合格是基于数据和概率的,它并不知道我们人为标注的方法
在以上这一条代码中,实现了数据标注的功能。
从列表X中抽取一行,也就是x0和x1。再判断x0 + x1的和,如果和小于1,则为真,把1赋值给Y,否则为假,把0赋值给Y。
这样就构建出了X和对应标签Y"""
print("X:",X) #打印数据集X
print("Y:",Y) #打印标签Y
"""
1定义神经网络的输入、参数和输出,定义前向传播过程
"""
x = tf.placeholder(tf.float32,shape=(None,2))
#x为输入的特征,32位浮点型。shape的第一维None表示输入未知组数
#shape的第二维2表示每组有两个特征,即体积和重量
y_ = tf.placeholder(tf.float32,shape=(None,1))
#y_表示标准答案,也就是合格为1、不合格为0的标签。shape第一维None表示未知组数的标签
#shape的第二维为1,是因为每个标签只有一个元素,即合格或不合格的标记
w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) #参数,输入是2个特征,故w1为2行,对应X
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) #参数,输出是1个数,故w2为1列,对应Y
#参数要匹配输入和输出,隐藏层用3个神经元
#正态分布生成随机数,w1为2行3列,w2为3行1列。为保证生成结果一致,统一随机种子seed=1
#矩阵乘法实现前向传播过程描述
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
"""
2定义损失函数及反向传播方法
"""
#反向传播中须指定损失函数loss
loss = tf.reduce_mean(tf.square(y-y_)) #用均方误差计算loss
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss) #选用梯度下降实现训练过程,学习率填入0.001
# train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss) #还可使用Momentum优化方法
# train_step = tf.train.AdamOptimizer(0.01).minimize(loss) #还可使用Adam优化方法
#三种优化方法选择其一即可
"""
3生成会话,训练STEPS轮
"""
with tf.Session() as sess: #生成with结构
init_op = tf.global_variables_initializer() #初始化所有变量
sess.run(init_op)
#输出目前(未经训练)的参数取值
print("w1:\n",sess.run(w1)) #打印出优化前的参数w1
print("w2:\n",sess.run(w2)) #打印出优化前的参数w2
print("\n")
#训练模型
STEPS = 3000 #训练3000轮
for i in range(STEPS):
start = (i*BATCH_SIZE) % 32
end = start + BATCH_SIZE
sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
#每轮从X的数据集和Y的标签中抽取相应的从start到end个特征和标签,喂入神经网络,用see.run执行训练过程
if i % 500 == 0: #每500轮打印一次loss值
total_loss = sess.run(loss,feed_dict={x:X,y_:Y})
print("After %d training step(s),loss on all data is %g"%(i,total_loss))
#3000轮后,输出训练后的参数取值
print("\n")
print("w1:\n",sess.run(w1)) #打印出优化后的w1
print("w2:\n",sess.run(w2)) #打印出优化后的w2
运行结果:
首先打印出了X(仅粘贴了部分结果)
和对应的标签Y
随后打印出随机生成的参数w1和w2,接下来是3000轮训练过程,最后打印出了经过3000轮训练后的参数。
大家①可以将代码中的训练次数(STEPS)增大,观察loss的减小过程,②还可以更改train_step为Momentum优化器或Adam优化器,试一下哪种优化器效果更好,③还可以更改BATCH_SIZE观察对loss的影响。
以下我进行验证,网课中未提及:
①将STEPS改作4000:
将STEPS改作5000:
②训练3000轮,换用Momentum优化器:
训练3000轮,换用Adam优化器:
③其余不变(3000轮训练+梯度下降的优化方法),改BATCH_SIZE为6:
其余不变(3000轮训练+梯度下降的优化方法),改BATCH_SIZE为10:
10.搭建神经网络的八股:准备、前向、反向、迭代
①准备:导入模块;常量定义;更改、优化甚至生成数据集
②前向传播:定义输入、参数和输出
③反向传播:定义损失函数、反向传播方法
④迭代:生成会话,初始化所有参数,定义循环轮数等操作
另附:助教的TensorFlow笔记3(有文有图)
第三讲至此结束。