Datawhale AI 夏令营 李宏毅苹果书（进阶） Task2

自适应学习率

神经网络的训练十分困难，即使没有所谓的 critical point，当问题的 Error Surface 是一个凸函数的时候：

• 较小的 learning rate，训练无法逼近最优解
• 较大的 learning rate，不能够解决临界点问题
  参数更新方式需要从
  $${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\eta g_i^t$$
  其中
  $$g_i^t=\frac{\partial L}{\partial {\theta }_i}{|}_{\theta ={\theta }_t}$$
  变成
  $${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\frac{\eta }{{\sigma }_i^t}{g}_i^t$$
  对于不同的优化方式有：
• RMS：$\sigma =\sqrt{\frac{1}{t+1}{\sum }_{i=0}^t(g_i^t{)}^2}$,梯度较大时，计算出 $\eta$ 值较小；梯度较小时，计算出 $\eta$ 较大；
• RMSProp：动态调整学习率
• Learning Rate Scheduling：让学习率成为时间的函数
• Learning Rate Decay：随着训练的进行，逐渐减小学习率
• Warm Up：通过超参数设置，使学习率先变大，后变小

分类 Classification

• Softmax：归一化指数函数
  $$y_i=\frac{\exp (y_i)}{{\sum }_j\exp (y_j)}$$
• Cross-Entropy：交叉熵
  $$e=-\sum _i\widehat{y_i}\ln y_i^{\prime }$$
  最小化交叉熵（MInimizing cross-entropy）等价于最大化可能性（maximizing likelihood）；
  MSE会在large loss的地方卡住，无法继续训练；