《深度学习详解》Task 2 #Datawhale X 李宏毅苹果书AI夏令营

自适应学习率

范数：数轴是梯度的范数。也就是梯度这个向量的长度

训练一个网络，令它到现在参数的临界点附近，再根据特征值的正负号判断该临界点时鞍点还是局部最小值。——困难 ，难以实施。

自适应学习率：给每一个参数不同的学习率。‘

AdaGrad

AdaGrad: 能够根据梯度的大小自动调整学习率。梯度大，学习率减小，梯度小，学习率放大。

第一步：$$\begin{gathered} {\sigma }_0^i=\sqrt{(g_0^i{)}^2}=|g_0^i| \\ 其中g_0^i为梯度，第一次更新参数使{\theta }_0^i更新为{\theta }_1^i时，与梯度大小无关 \end{gathered}$$
第二步：
当t+1次更新参数时${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{\eta }{{\sigma }_t^i}$ 其中${\sigma }_t^i=\sqrt{\frac{1}{t+1}{\sum }_t^{i=0}(g_t^i{)}^2}$

由于${\theta }_1$坡度小->梯度算出来的值也比较小${\sigma }_t^i$就比较小，学习率就大。反之同理。

RMSProp

RMSProp：对同一个参数的同一个方向的学习率进行动态调整。

${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{\eta }{{\sigma }_t^i}$ ${\sigma }_t^i=\sqrt{\alpha ({\sigma }_{t-1}^i{)}^2+(1-\alpha )(g_t^i{)}^2}$
由此，通过$\alpha$可以决定$g_t^i$相较于之前存在${\sigma }_{t-1}^i$当中的$g_1^i,g_2^i,.....,g_{t-1}^i$的重要性。

使用RMSProp可以动态调整${\sigma }_t^i$这一项。

Adam

Adam：使用动量作为参数的更新方向，并且能够自适应调整学习率。

学习率调度

学习率调度: 使$\eta$ 与时间有关，进行动态调整。

学习率衰减（学习率退火）：随着参数的不断更新使$\eta$越来越小。

预热：让学习率先变大再变小，变到多大，变大的速度，变小的速度是超参数。

为什么需要预热?
因为当使用Adma、RMSProp或AdaGrad时，需要计算$\sigma$ ，但最开始的$\sigma$不精准，所有要先收集有关$\sigma$的统计数据，当统计得比较精准之后，再让学习率慢慢爬升。

优化总结

优化后的 公式为：其中$m_t^i$为动量
$${\theta }_{i+1}^i\leftarrow {\theta }_t^i-\frac{{\eta }_t}{{\sigma }_t^i}{m}_t^i$$
步伐大小为$\frac{m_t^i}{{\sigma }_t^i}$,通过${\eta }_t$实现学习率调度

分类

分类与回归的关系

回归：输入一个向量x，输出$\bar{y}$，使$\bar{y}$ 与某个标签y接近。

分类：输入x后，输出仍然是$\bar{y}$ ,使$\bar{y}$与正确答案的那个类越接近越好。