RIPGeo参文38-42（泛化和稳健性）：扰动学习性能的保证-CSDN博客

本文链接：https://blog.csdn.net/sinat_41942180/article/details/136768199

本文探讨了深度学习模型在对抗性训练、损失曲面几何及泛化性能之间的关系。研究发现，损失函数的尖锐度与模型泛化能力密切相关，对抗性训练并不总是导致更平坦的损失景观，而周期性对抗性调度策略可能提高模型的鲁棒性。此外，通过模式连通性可以理解与改善对抗性鲁棒性，同时小批量训练有助于找到更平坦的局部最小值，提高泛化效果。

摘要由CSDN通过智能技术生成

RIPGeo中有：

泛化和稳健性。

人们普遍认为，一个更平坦的损失函数（可视化）可以提高神经网络[38]-[40]的鲁棒性。

[38] V. U. Prabhu, D. A. Yap, J. Xu, and J. Whaley, “Understanding adversarial robustness through loss landscape geometries,” arXiv preprint arXiv:1907.09061, 2019.

[39] C. Liu, M. Salzmann, T. Lin, R. Tomioka, and S. S¨usstrunk, “On the loss landscape of adversarial training: Identifying challenges and how to overcome them,” NeurIPS, vol. 33, 2020.

[40] P. Zhao, P.-Y. Chen, P. Das, K. N. Ramamurthy, and X. Lin, “Bridging mode connectivity in loss landscapes and adversarial robustness,” in ICLR, 2020.

[38] 通过损失可视化几何理解对抗稳健性

这篇论文发表在2019年，ICML。

论文地址：https://arxiv.org/abs/1907.09061

代码地址：https://github.com/joycex99/adversarial-training

一. 摘要

对解释和提高深度学习泛化能力的追求，引发了正则化技术和损失曲面几何可视化技术的努力。后者与社区中流行的直觉有关，即奉承局部最优值会导致较低的泛化误差。本文利用损失表面可视化的最先进的"滤波器归一化"技术，来定性地了解使用对抗性训练数据增强作为首选的显式正则化技术的后果。令人惊讶的是，这种经常部署的对抗性增强技术实际上并没有导致"更平坦"的损失格局，这需要重新思考对抗性训练泛化以及泛化和损失格局几何之间的关系。

二. 效果图

图1所示。相同模型的损失函数可视化。(b)-(d)是来自不同攻击的微调增强数据的损失。

图2。相同模型损失函数的3D可视化。(b)-(d)是来自不同攻击的微调增强数据的损失。

三. 总结

对抗性训练神经网络的损失函数几何表明，整体模型泛化并不一定会提高对某些攻击的弹性。对抗性训练模型更清晰的损失图景不仅是正在进行的模型可解释性工作的一个不直观的、令人惊讶的结果，而且是开发新的对抗性训练技术的一个重要考虑点。

在增强的数据上对模型进行微调也可能有助于使局部最小值更加尖锐和更加混沌，因为来自前局部最小值的优化路径可能与来自随机初始化权重的优化路径不同。再次鼓励进一步研究，将结果与从非预训练模型中获得的结果进行比较。

根据研究，在三种对抗性增强中，stAdv在准确性和泛化能力方面显示出了最大的希望。即便如此，在对抗性微调下，模型可以默认记忆扰动，并仅根据结构图像相似性进行泛化。将多种攻击方法结合起来可能会提高整体的泛化能力，并收敛于相对平坦的损失场景，这是未来调查的潜在途径。

[39] 论对抗性训练的损失格局

这篇论文发表在2020年，NeurIPS。

论文地址：https://arxiv.org/abs/2006.08403

一. 摘要

本文分析了对抗性训练对机器学习模型损失图景的影响。本文首先对不同对抗预算下的对抗损失函数的性质进行了分析研究。对抗性损失景观由于曲率的增加和更多分散的梯度，不利于优化。通过数值分析验证了结论，表明在大规模对抗性预算下的训练阻碍了逃离次优随机初始化，造成了非消失的梯度，并使模型找到更清晰的最小值。基于这些观察，周期性对抗调度(PAS)策略可以有效克服这些挑战，产生比普通对抗训练更好的结果，同时对学习率的选择不那么敏感。

二. 本文贡献

我们的贡献可以总结如下。

1、从理论角度来看

对于线性模型，在足够大的预算下进行对抗性训练会产生一个恒定的分类器。对于一般的非线性模型，在对抗性样本中发现了突变的存在，这使得损失景观不那么平滑。这会导致严重的梯度散射，减慢训练的收敛速度。

2、数值分析表明

在大的对抗性预算下进行训练，阻碍了模型逃离次优的初始区域，同时也会在训练的最后阶段造成较大的非消失梯度。此外，通过Hessian分析，证明了当对抗性预算较大时，在对抗性损失景观中达到的最小值更尖锐。

3、周期性对抗性调度(PAS)策略

对应于带预热的循环对抗性预算调度方案，可以解决这些挑战。具体来说，它使训练对学习率的选择不那么敏感，并在没有任何计算开销的情况下，产生了比普通对抗性训练更好的鲁棒准确性。

三. 结论

我们研究了对抗性训练下损失图景的特性。我们已经表明，由于对抗性样本对模型参数的依赖，对抗性损失景观是不平滑的，不利于优化。此外，我们的经验证明，大量的对抗性预算在早期阶段减慢了训练速度，并在最终阻碍了收敛。展示了在训练过程中热身和周期性调度对抗预算大小的优势。它们使训练对不同的学习率选择更鲁棒，并产生比普通对抗性训练更好的性能。