在已经熟悉神经网络的相关知识的前提下:
使用激活函数以后,除了能将输入信号转换为输出信号以后,还能回传损失函数中的误差,可以使用梯度下降更新权重值,通过计算误差函数E相对于权重参数W的梯度,在损失函数梯度的相反方向上更新权重参数
v2-ad943c338270e34bed0b67222f245168_b.png
上图显示了权重更新过程与梯度矢量误差的方向相反,其中U形曲线为梯度。要注意到,当权重值W太小或太大时,会存在较大的误差,需要更新和优化权重,使其转化为合适值,所以我们试图在与梯度相反的方向找到一个局部最优值
例如
随机梯度下降法作为优化器:(0.01为学习率)
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
Adam优化器:
train_step = tf.train.AdamOptimizer(0.01).minimize(loss)