TPAMI 2024 | 神经网络的随机正则化与简单一致性训练

Randomness Regularization With Simple Consistency Training for Neural Networks

题目：神经网络的随机正则化与简单一致性训练

作者：Juntao Li; Xiaobo Liang; Lijun Wu; Yue Wang; Qi Meng; Tao Qin; Min Zhang; Tie-Yan Liu
源码：https://github.com/dropreg/R-Drop

---

摘要

近年来，深度学习在自然语言处理、计算机视觉、语音/音频处理等领域取得了显著的成功。在训练神经网络时，各种形式的随机性[1][2][3][4][5]被引入以简化模型优化过程并防止过拟合。其中，Dropout技术及其在不同角度（例如，数据、模型结构）的变体被广泛用于防止深度神经网络的训练过程中隐藏单元的协同适应，提高模型的鲁棒性，规范模型训练，并在推理中提取有效的子模型。然而，这些基于dropout的方法引入的随机性可能会导致训练和推理阶段之间的显著不一致性。具体来说，训练阶段随机丢弃一些组件（例如&#x