优化在深度学习中的挑战

参考：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.1_optimization-intro

优化在深度学习中有很多挑战。下面描述了其中的两个挑战，即局部最小值和鞍点。

1. 局部最小值

深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令目标函数局部最小化而非全局最小化。

 

2. 鞍点

另一种可能性是当前解在鞍点（saddle point）附近。

 

• 由于优化算法的目标函数通常是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。
• 由于深度学习模型参数通常都是高维的，目标函数的鞍点通常比局部最小值更常见。