梯度下降法

1.梯度下降法

梯度下降法是一种致力于找到函数极值点的算法。
	weights(i+1) = weights(i) - v * g(weights(i))
其中v为学习速率， g(weights(i))是损失函数total_loss对应于权值weights(i)的梯度

（1）梯度

-梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的对应分量的偏导。
--梯度的输出向量表明了在每个位置损失函数增长最快的方向，向梯度方向移动，损失函数将增大，而我们要做的就是向梯度的反方向移动，目标是减小损失函数值。
注：偏导数————度量函数输出相对于某个特定输入变量的变化率。
当提及损失函数的输入变量时，指的是模型的权值，而非实际数据集的输入特征。

（2）学习速率

为什么需要学习速率？
因为梯度向量的长度实际上是一个在“损失函数单元”中而非“权值单元”中度量的量，因此需要对梯度进行缩放，使其能够与权值相加。

-*-学习速率不是模型需要推断的值，它是一个超参数，需要手动配置。

*如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；
*如果学习速率太大，则算法可能会“跳过”极小值点，并且因周期性的“跳跃”而永远无法找到极小值点，这种现象被称为“超调”。

注：要想了解是否发生“超调”，只能查看损失函数值随时间的变化曲线。(因为损失函数通常有非常多的变量，无法绘制损失函数图像)

-*-在调整学习速率时，既需要使其足够小，保证不至于发生“超调”，也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。

2.缺点

梯度下降法无法区分迭代终止时，到底是到达了全局最小点还是局部最小点，后者往往只在一个很小的领域内为最优。
解决办法：将权值随机初始化，可以增加从靠近全局最优点附近开始下降的机会。

3.随机梯度下降法

对于每一次更新参数，不必遍历所有的训练集合，仅仅使用了一个样本数据，来变换一个参数。这样做不如完全梯度下降的精确度高，可能会走很多弯路，但整体趋势是走向全局最小点。

优点：这样做可以节省更多的时间，算法更快。

4.梯度下降法分类及公式推导

详情见：https://www.cnblogs.com/pinard/p/5970503.html
tensorflow的梯度下降法函数见：https://blog.csdn.net/shichaog/article/details/73123801