对于模型的工程实现,核心问题是如何估计模型的参数,也就是如何求解最优化问题。这一章以tensorflow为基础工具,讨论最优化问题的核心算法——梯度下降法(其中梯度下降法是随机梯度下降法的特例)。这个方法容易得到损失函数的局部最小,解决方法是通过选取多个起始点,计算多个局部最小值的最小值,作为全局最小值。
1.梯度下降法
梯度下降法是模拟“小球沿斜坡滚动,最终会停在最低点”生成的算法。对于交叉熵损失函数L,假设选取的初始点为,现在稍稍移动,得到,由损失函数在处的一阶泰勒展开可得,
令
其中,>0,则
这说明按照移动参数(本质上是按照梯度方向移动的距离),损失函数的函数值是下降的,若一直重复这种移动,损失函数最终可以得到最小值,于是可以得到参数的迭代计算公式
其中,参数称为学习速率(learning rate),是训练模型时的一个重要的超参数,既不能过大,也不能太小,是损失函数L的梯度,是函数值下降最快的方向。
2.随机梯度下降
核心思想:随机抽取若干个数据点,用他们的梯度平均值估计损失函数的梯度,新的参数迭代公式为
Tensorflow实现了梯度下降的算法
import tensorflow as tf
method=tf.train.GradientDescentOptimizer(learning_rate=learningRate)
optimizer=method.minimize(model["loss_function"])