优化理论

（一）梯度下降算法（最速下降法）

1.梯度下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢；

2.梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）；

3.梯度下降法可以分为批量梯度下降或者随机梯度下降；

4.梯度下降法容易陷入局部最优，常用的避免方法有：

（1）随机梯度下降：每次是按照单点的最优方向而不是整体的最优方向前进，从而相当于在朝目标前进的路上多拐了好多弯，有可能逃出局部最优；

（2）momentum方法：相当于记忆上一次的更新；在每次的更新中，都要加一个k倍的上一次更新量；这样，也