Datawhale X 李宏毅苹果书 AI夏令营: task2

Adaptive Learning rate

损失越来越小，直到稳定，意味着梯度也会很小，但是有时并没有，梯度保持在一个范围震荡。

可能就是在一个Sharp minima旁边(山谷)，学习率相对太大，不能正常更新进入Local minima了，而梯度却无法下降，就是Loss却保持稳定了。

如果一个Error Surface中，横轴梯度很小，纵轴梯度很大：

• 学习率很大：就会一直在纵轴方向震荡，而横轴方向几乎不动，很难到临界点。
• 学习率很小：就会步长很短，难以靠近Local minima

所以，不同的地方需要不同的学习率

AdaGrad(Adaptive Gradient)

AdaGrad能够根据梯度大小调整学习率：

• 梯度大 $⟹$ 学习率减小
• 梯度小 $⟹$ 学习率增大

RMS(Root Mean Square)

梯度下降更新某个参数 ${\theta }_i$ 的过程为：
$${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\eta g_i^t\text{\hspace{1em}(3.14)}$$

${\theta }_i^t$ 在第 $t$ 个迭代的值域中在第 $t$ 个迭代参数 $i$ 算出来的梯度

$$g_i^t=\frac{\partial L}{\partial {\theta }_i}{|}_{\theta ={\theta }^t}\text{\hspace{1em}(3.15)}$$

$g_i^t$ 代表在第 $t$ 迭代时，参数 ${\theta }_i$ 对损失 $L$ 的偏导，学习率 $\eta$ 是固定的。

现在要有一个随着参数决定动态化的学习率，即把原来学习率 $\eta$ 改成 $\frac{\eta }{{\sigma }_i^t}$。

$${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\frac{\eta }{{\sigma }_i^t}{g}_i^t\text{\hspace{1em}(3.16)}$$

${\sigma }_i^t$ 的上标 $t$，这代表参数 ${\sigma }_i$ 与 $i$ 相关，不同的参数 ${\theta }_i$ 的不同。${\sigma }_i^t$ 的下标 $t$，这代表参数 ${\sigma }_i$ 与迭代 $t$ 相关，不同的迭代也会有不同的 ${\sigma }_i^t$。学习率从 $\eta$ 改成 $\frac{\eta }{{\sigma }_i^t}$ 的时候，学习率就变得参数相关（parameter dependent）。

参数相关的一个常见的类型是算梯度的均方根（root mean square，RMS）。参数的更新过程为：

$${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\frac{\eta }{{\sigma }_i^t}{g}_i^t\text{\hspace{1em}(3.17)}$$

其中 ${\theta }_i^0$ 是初始化参数。而 ${\sigma }_i^0$ 的计算过程为：

$${\sigma }_i^0=\sqrt{(g_i^0{)}^2}=|g_i^0|\text{\hspace{1em}(3.18)}$$

其中 $g_i^0$ 是梯度。将 ${\sigma }_i^0$ 的值代入更新的公式可以知道，$g_i^0$ 的值是 $+1$ 或 $-1$。第一次在更新参数，从 ${\theta }_i^0$ 更新到 ${\theta }_i^1$ 的时候，要么是加上 $\eta$，要么是减掉 $\eta$，跟梯度的大小无关，这个是第一步的情况。

第二次更新参数过程为：

$${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\frac{\eta }{{\sigma }_i^1}{g}_i^t\text{\hspace{1em}(3.19)}$$

其中 ${\sigma }_i^1$ 是过去所有计算出来的梯度的平方的平均再开根号，即均方根，如式(3.20)所示：

$${\sigma }_i^1=\sqrt{\frac{1}{2}\left((g_i^0{)}^2+(g_i^1{)}^2\right)}\text{\hspace{1em}(3.20)}$$

同样的操作反复继续下去，如式(3.21)所示。

$${\theta }_i^3\leftarrow {\theta }_i^2-\frac{\eta }{{\sigma }_i^2}{g}_i^2{\sigma }_i^2=\sqrt{\frac{1}{3}\left((g_i^0{)}^2+(g_i^1{)}^2+(g_i^2{)}^2\right)}\text{\hspace{1em}(3.21)}$$

第 $t+1$ 次更新参数的时候，即

$${\theta }_i^{t+1}\leftarrow {\theta }_i^t-\frac{\eta }{{\sigma }_i^t}{g}_i^t{\sigma }_i^t=\sqrt{\frac{1}{t+1}\sum _{i=0}^t(g_i^t{)}^2}\text{\hspace{1em}(3.22)}$$

$\frac{\eta }{{\sigma }_i^t}$ 当作是新的学习率来更新参数。

RMSProp(Root Mean Square Propagation)

与RMS大致相同，区别在于增加了一个超参数$\alpha$，可以动态调整。

第二步更新过程为
$${\theta }_i^2\leftarrow {\theta }_i^1-\frac{\eta }{{\sigma }_i^1}{g}_i^1,{\sigma }_i^1=\sqrt{\alpha {\left({\sigma }_i^0\right)}^2+\left(1-\alpha \right){\left(g_i^1\right)}^2}$$

其中 $0<\alpha <1$，其是一个可以调整的超参数。计算 ${\theta }_i^1$ 的方法跟 AdaGrad 算均方根不一样，在算均方根的时候，每一个梯度都有同等的重要性，但在 RMSprop 里面，可以自己调整现在的这个梯度的重要性。如果 $\alpha$ 设得小趋近于 $0$，代表 $g_i^1$ 相较于之前算出来的梯度而言，比较重要；如果 $\alpha$ 设得大趋近于 $1$，代表 $g_i^1$ 比较不重要，之前算出来的梯度比较重要。

同样的过程就反复继续下去，如下：
$${\theta }_{i+1}\leftarrow {\theta }_i-\frac{\eta }{{\sigma }_i^t}{g}_i^t,{\sigma }_i^t=\sqrt{\alpha {\left({\sigma }_i^{t-1}\right)}^2+\left(1-\alpha \right){\left(g_i^t\right)}^2}$$

RMSProp 通过 $\alpha$ 可以决定，$g_i^t$ 相较于之前存在于 ${\sigma }_i^{t-1}$ 里面的 $g_i^1,g_i^2,\dots ,g_i^{t-1}$ 的重要性有多大。如果使用 RMSprop，就可以动态调整 ${\sigma }_i^t$ 这一项。图 3.26 中黑线是误差表面，球就从 A 走到 B，AB 段的路很平坦，$g$ 很小，更新参数的时候，我们会走比较大的步伐。走动 BC 段后梯度变大了，AdaGrad 反应比较慢，而 RMSprop 会把 $\alpha$ 设小一点，让新的、刚看到的梯度的影响比较大， 很快地让 ${\sigma }_i^t$ 的值变大，很快地让步伐变小，RMSprop 可以很快地“踩刹车”。如果走到 CD 段，CD 段是平坦的地方，可以调整 $\alpha$，让其比较看重最近算出来的梯度，梯度一变小，${\sigma }_i^t$ 的值就变小了，走的步伐就变大了。

Adam(Adaptive moment estimation)

结合RMSProp和Momentum

Learning rate scheduling

加上AdaGrad之后训练依然存在问题，一开始很顺利，但是到横轴方向却发生了“爆炸”。

原因在于 ${\sigma }_t^i$ 是拿过去的梯度取平均。AB段梯度很大，但是BC段纵轴梯度很小，导致累计的 ${\sigma }_t^i$ 很小，$\frac{\eta }{{\sigma }_t^i}$ 很大，步伐就会很大，又到了纵轴梯度大的地方，${\sigma }_t^i$ 又变大，步伐也会慢慢变小。

所以需要学习率调度 (Learning rate scheduling)

Learning rate decay

学习率衰减 (Learning rate decay) ，也叫学习率退火 (Learning rate annealing) 随着梯度不断更新，让 $\eta$ 越来越小，正好适用于上图的问题

分类

回归与分类

回归是输入一个向量 $x$，输出 $\hat{y}$，我们希望 $\hat{y}$ 跟某一个标签 $y$ 越接近越好，$y$ 是要学习的目标。而分类可当作回归来看，输入 $x$ 后，输出仍然是一个标量 $\hat{y}$，要让它跟正确答案的那个类越接近越好。

带softmax的分类

根据上述的设定，分类实际过程是：输入 $x$，乘上 $W$，加上 $b$，通过激活函数 $\sigma$，乘上 $W^{\prime }$，再加上 $b^{\prime }$ 得到向量 $\hat{y}$。但实际上做分类的时候，往往会把 $\hat{y}$ 通过 softmax 函数得到 $y^{\prime }$，才去计算 $y^{\prime }$ 与 $y$ 之间的距离。

但是，数字可能存在问题，如果用数字表示类别（如类1表示为1，类2表示为2，类3表示为3），模型可能会错误地认为这些数字之间有顺序关系。这在类别之间没有顺序关系的情况下是不合适的。例如，在预测学生的年级时（1年级、2年级、3年级），使用数字表示可能会让模型误以为2年级比1年级“更接近”，而与3年级“更远”，这与实际情况不符。

所以，引入独热向量表示类别，每个类都独立，没有顺序关系，类两两之间距离也是一样。

[!note]

Q: 为什么分类过程中要加上 softmax 函数？
A: 一个比较简单的解释是，$y$ 是独热向量，所以其里面的值只有 0 跟 1，但是 $\hat{y}$ 里面有任何值。既然目标 $y$ 只有 0 跟 1，但 $\hat{y}$ 有任何值，可以先把它归一化到 0 到 1 之间，这样才能跟标签的计算相似度。

softmax计算公式：
$${\hat{y}}_i=\frac{\exp (y_i)}{{\sum }_i\exp (y_i)}$$
这样可以进行归一化，并让较大和较小值之间差距更大。

[!note]

如果又三个类需要套softmax，如果只有两个，直接取sigmoid即可

分类损失

当我们把 $x$ 输入到一个网络里面产生 $\hat{y}$ 后，通过 softmax 得到 $y^{\prime }$，再去计算 $y^{\prime }$ 跟 $y$ 之间的距离 $e$.

计算距离 $e$ 有多种做法：

• Mean Squared Error， MSE 均方误差
  $$e=\sum _i(y_i-y_i^{\prime }{)}^2$$

• cross-entropy， 交叉熵，当 $y$ 和 $y^{\prime }$ 相同时，可以最小化交叉熵的值，此时均方误差也是最小的。最小化交叉熵其实就是最大化似然估计 (maximize likelihood)
  $$e=-\sum _i{y}_i\ln y_i^{\prime }$$

交叉熵更优，更常用