《深度学习笔记》——“损失函数loss乘以正数因子a是否等价于学习率lr乘以a呢？”

致谢

感谢知乎回答“loss的尺度的影响的本质上取决于优化器”给予我的启发！

1 问题描述

最近我在调参时，想到一个问题：“损失函数loss乘以正数因子a是否等价于学习率lr乘以a呢？”

2 解答

对于梯度优化而言，损失函数loss乘以正数因子a与学习率lr乘以a，与优化器算法optimizer有关。

Optimizer	Equivalency (ls & lr)	Experiment
SGD	unknown
Adam	unknown
AdamW	✓	Torch_adamw_ls.ipynb

3 证明

3.1 朴素SGD：等价

3.2 Adam：不等价，ls失效

这里选择的Adam算法形式是比较简单的算法描述，来自于Adam论文《A Method for Stochastic Optimization》，其公式为

直观解释：根据以上算法流程，当loss乘以尺度$s$时，loss梯度$g_t$增大$s$倍，那么${g_t}^2$则会扩大$s^2$倍；由于$m_t$是$g_t$的累加，$v_t$是${g_t}^2$的累加，那么$m_t$会扩大$s$倍，$v_t$会扩大$s^2$倍。由于${\hat{m}}_t$与$m_t$线性相关，${\hat{v}}_t$与$v_t$线性相关，那么最后一步的梯度更新相当于
$${\theta }_t={\theta }_{t-1}-\alpha \cdot \frac{s\ast {\hat{m}}_t}{\sqrt{s^2\ast {\hat{v}}_t}+ϵ}={\theta }_{t-1}-\alpha \cdot \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ/s}$$
由于$ϵ/s$为极小值，可以忽略不计，则可以看到ls没有对梯度更新产生作用，即ls失效；
以上过程可以使用代码进行验证。[]

则原命题等价于：已知函数
$$h_t=\alpha \cdot {\hat{m}}_t/\left(\sqrt{{\hat{v}}_t}+ϵ\right)=h(\alpha ,f_t)$$
对任意正数因子$m$，有函数
$$h_1=h(m\alpha ,f_t)$$
以及函数
$$h_2=h(\alpha ,m{f}_t)$$
可知
$$\begin{array}{rl}{h}_2& =h(\alpha ,m{f}_t)\\ & =\alpha \cdot {{\hat{m}}_t}^{\prime }/\left(\sqrt{{{\hat{v}}_t}^{\prime }}+ϵ\right)\\ & =行3等号右\end{array}$$
则有$h_1\equiv h_2$。

3.2 AdamW：不等价, ls失效

在分析之前，我们首先回顾一下AdamW的算法过程，这里我们参考PyTorch-doc中给出的算法描述：

从文档上可以看出，基于AdamW的梯度更新与loss函数的尺度是无关的；