深度学习学习率的调整

20220626 -

0. 引言

最近在做实验的时候，由于结果一直都不怎么好，我就在想是不是过拟合了。那就算不是过拟合，是不是根本没有学习到数据集中的信息呢？想到了这些事情，我就直接把测试集的效果跟随着训练过程直接打印出来了。（当然，实际过程中，肯定是不该以这个过程来作为最终的评判目标，但是在检验阶段还是很有用的）

通过查看这个过程就发现，随着训练过程，在前期，的确是发现检验指标在上升，这个过程是很正常的，毕竟前期还是能够学习到一些信息的。（实验过程采用的是自编码器进行异常检测）。

但是达到了一定程度之后，大部分时候学习到20轮左右的时候， 重构损失就差不多不怎么下降了。但是从此时开始，就发现这个时候异常检测的结果指标就一直在震荡，或者在下降。虽然重构损失不怎么变了。

我的理解就是，此时有可能是发生了过拟合，当然仅仅是猜测。

那么想到这个问题，其实也定位了很多地方，但是并不能准确定位到什么地方的问题。毕竟自己的数据集本身也不是那么理想，有时候随机性的初始化，可能也不会出现震荡或者下降这种问题。这就比较尴尬。

但是毕竟下降或震荡是更常见的。

1. 学习率的问题

平时的时候，基本上都是采用adam这种优化器，平时的时候任务效果也比较理想。就没有考虑过，那么就简单调整了学习率。调低了，就到不了比较理想的结果，调高了在开始的时候就进行震荡。

这个时候，我想到了学习率衰减的问题，就是随着训练过程推进，将学习率逐渐降低。不过在平时看到的论文中，基本上没见到过采用学习率衰减的问题。可能平时看的都是一些应用论文，并不是纯粹的机器学习或者深度学习的论文。

之前看过这部分内容，简单搜索就能找到几篇相关的文章[1][2]，其中[2]的作者直接把不同形式的衰减用图片给展现出来了。

但是毕竟，不试一试，怎么知道有没有效果呢，所有直接就把这部分代码给加上了，（最近改成了torch来写代码，加这个东西，基本上就两行代码而已）。通过加上这个之后， 的确是发现了最后的效果稳定了，最起码不下降或者不震荡了。但是也出现一个问题，这个时候的效果，其实并没有之前震荡的时候那么高了。当然不能这么说，这种随机性的事情谁也说不准。

但是最起码这个时候能够稳定效果了。

2. Adam的学习率衰减

对于adam优化器来说，我并不是非常非常了解，虽然以前也好好学习过，但是也逐渐遗忘了。是不是对adam加上这个东西有意义呢？我带着这个疑问，去搜索了这部分内容。

在[3][4][5]中，看起来大家都没有非常一致的结论。但是在[3]中，一些人都赞成可以使用。

参考

[1]Setting the learning rate of your neural network.
[2]Guide to Pytorch Learning Rate Scheduling
[3]Do I still need an LR scheduler to adjust the training learning rate if I use Adam optimizer?

[4]Adam optimizer with exponential decay
[5]Should we do learning rate decay for adam optimizer