Task06 凸优化与深度学习

优化与深度学习

1.优化与估计

尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。

• 优化方法目标：训练集损失函数值
• 深度学习目标：测试集损失函数值（泛化性）

 

2.优化在深度学习中的挑战

1. 局部最小值
2. 鞍点
3. 梯度消失

2.1局部最小值

对于目标函数f(x),如果f(x)在x上的值比在x邻近的其他点更小，那么f(x)可能是一个局部最小值。

如果f(x)在x上的值是目标函数在整个定义域上的最小值，那么f(x)是全局最小值。

举例：

我们可以⼤致找出该函数的局部最小值和全局最小值的位置。需要注意的是，图中箭头所指⽰的 只是⼤致位置。 

深度学习模型的⽬标函数可能有若⼲局部最优值。当⼀个优化问题的数值解在局部最优解附近 时，由于⽬标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令⽬标函数局部最 小化而⾮全局最小化。 

2.2 鞍点