李沐72_深度学习优化算法——自学笔记

局部最小VS全局最小

使用迭代优化算法求解，一般只能保证找到局部最小值。

凸函数优化

1.如果代价函数f是凸，且限制集合C是凸，那么就是凸优化问题，局部最小一定是全局最小

2.严格凸优化问题有唯一的全局最小

凸

1.线性回归

2.softmax

非凸

其他均是，MLP、CNN、RNN、attention…

梯度下降

最简单的迭代求解算法

随机梯度下降

比梯度下降成本低

小批量随机梯度下降

1.计算单样本的梯度很难完全利用硬件资源

冲量法

使用平滑过的梯度对权重更新，beta的常见取值[0.5,0.9,0.95,0.99]

总结

1.深度学习模型大部分是凸

2.小批量随机梯度下降是最常用的优化算法

3.冲量对梯度做平滑

4.Adam对梯度做平滑，且对梯度各个维度值做重新调整