在搭建神经网络的过程中,tensorflow提供了3种优化器,分别是:
import tensorflow as tf
tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
该优化器使用梯度下降法进行优化,其中learning_rate 是学习率,loss代表损失函数
利用梯度下降算法,使参数沿着损失函数梯度的反方向(梯度下降的方向)即损失减少的方向移动,实现参数的更新
tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
该优化器使用超参数更新,其中learning_rate是学习率,momentum是超参数,其更新公式如下: