AI公益学习-优化与深度学习

1、深度学习中的优化

1.1、优化

优化方法目标：训练集损失函数值
深度学习目标：测试集损失函数值（泛化性）

1.2、优化在深度学习中的挑战

• 局部最小值
• 鞍点
• 梯度消失

1.2.1、鞍点

x = np.arange(-2.0, 2.0, 0.1)
fig, = d2l.plt.plot(x, x**3)
fig.axes.annotate('saddle point', xy=(0, -0.2), xytext=(-0.52, -5.0),
                  arrowprops=dict(arrowstyle='->'))
d2l.plt.xlabel('x')
d2l.plt.ylabel('f(x)');

2、凸性