20220626 -
0. 引言
最近在做实验的时候,由于结果一直都不怎么好,我就在想是不是过拟合了。那就算不是过拟合,是不是根本没有学习到数据集中的信息呢?想到了这些事情,我就直接把测试集的效果跟随着训练过程直接打印出来了。(当然,实际过程中,肯定是不该以这个过程来作为最终的评判目标,但是在检验阶段还是很有用的)
通过查看这个过程就发现,随着训练过程,在前期,的确是发现检验指标在上升,这个过程是很正常的,毕竟前期还是能够学习到一些信息的。(实验过程采用的是自编码器进行异常检测)。
但是达到了一定程度之后,大部分时候学习到20轮左右的时候, 重构损失就差不多不怎么下降了。但是从此时开始,就发现这个时候异常检测的结果指标就一直在震荡,或者在下降。虽然重构损失不怎么变了。
我的理解就是,此时有可能是发生了过拟合,当然仅仅是猜测。
那么想到这个问题,其实也定位了很多地方,但是并不能准确定位到什么地方的问题。毕竟自己的数据集本身也不是那么理想,有时候随机性的初始化,可能也不会出现震荡或者下降这种问题。这就比较尴尬。
但是毕竟下降或震荡是更常见的。
1. 学习率的问题
平时的时候,基本上都是采用adam这种优化器,平时的时候任务效果也比较理想。就没有考虑过,那么就简单调整了学习率。调低了,就到不了比较理想的结果,调高了在开始的时候就进行震荡。
这个时候,我想到了学习率衰减的问题,就是随着训练过程推进,将学习率逐渐降低。不过在平时看到的论文中,基本上没见到过采用学习率衰减的问题。可能平时看的都是一些应用论文,并不是纯粹的机器学习或者深度学习的论文。
之前看过这部分内容,简单搜索就能找到几篇相关的文章[1][2],其中[2]的作者直接把不同形式的衰减用图片给展现出来了。
但是毕竟,不试一试,怎么知道有没有效果呢,所有直接就把这部分代码给加上了,(最近改成了torch来写代码,加这个东西,基本上就两行代码而已)。通过加上这个之后, 的确是发现了最后的效果稳定了,最起码不下降或者不震荡了。但是也出现一个问题,这个时候的效果,其实并没有之前震荡的时候那么高了。当然不能这么说,这种随机性的事情谁也说不准。
但是最起码这个时候能够稳定效果了。
2. Adam的学习率衰减
对于adam优化器来说,我并不是非常非常了解,虽然以前也好好学习过,但是也逐渐遗忘了。是不是对adam加上这个东西有意义呢?我带着这个疑问,去搜索了这部分内容。
在[3][4][5]中,看起来大家都没有非常一致的结论。但是在[3]中,一些人都赞成可以使用。
参考
[1]Setting the learning rate of your neural network.
[2]Guide to Pytorch Learning Rate Scheduling
[3]Do I still need an LR scheduler to adjust the training learning rate if I use Adam optimizer?
[4]Adam optimizer with exponential decay
[5]Should we do learning rate decay for adam optimizer