深度学习 loss下降后上升在下降_深度学习中的双下降现象

编辑：zero
关注 搜罗最好玩的计算机视觉论文和应用，AI算法与图像处理 微信公众号，获得第一手计算机视觉相关信息
本文转载自：公众号：AI公园

作者：Preetum Nakkiran，Gal Kaplun，Yamini Bansal，Tristan Yang，Boaz Barak，Ilya Sutskever

编译：ronghuaiyang

导读

深度学习中的双下降现象，可能大家也遇到过，但是没有深究，OpenAI这里给出了他们的解答。

我们展示了 CNN，ResNet 以及 transformers 中的双下降现象，随着模型的尺寸，数据集的大小以及训练时间的增加，performance 先提升，然后变差，然后再次提升。这种效果通常可以通过仔细的正则化来避免。虽然这种行为似乎是相当普遍的，但我们还没有完全理解它为什么会发生，并把对这种现象的进一步研究作为一个重要的研究方向。