RIPGeo参文44-47（扰动训练目标）：泛化和鲁棒性

路由跳变

于 2024-03-18 08:15:00 发布

阅读量1.8k

点赞数 83

分类专栏： RIPGeo 文章标签：学习

本文链接：https://blog.csdn.net/sinat_41942180/article/details/136769862

版权

本文探讨了扰动训练目标如何通过Lipschitz约束提高无监督域适应的泛化能力和模型的鲁棒性。论文[44]提出虚拟混合训练(VMT)，在无标签数据中提升性能；[45]揭示了Lipschitz约束对于生成对抗网络的泛化和隐私保护作用；[46]中提出了基于概率Lipschitz约束的鲁棒图神经网络；[47]则通过损失可视化方法理解对抗稳健性。

摘要由CSDN通过智能技术生成

RIPGeo中有：

其中是一个常数。它证明了我们实际上优化了 $E_{\bigtriangleup \phi }[l(f_{\phi} (x),f_{\phi }(x))]$ 的上界，它确实涉及到数据分布的看不见的样本，从而保证了RIPGeo的通用性。

我们还注意到，我们的扰动训练目标是Lipschitz constraints[44]的一种特殊形式。由于正则化或Lipschitz constraints连续性对训练稳定性[45]和[46]很重要，我们的方法可以有效地提高在训练[47]过程中模型的泛化和鲁棒性。

[44] X. Mao, Y. Ma, Z. Yang, Y. Chen, and Q. Li, “Virtual mixup training for unsupervised domain adaptation,” arXiv preprint arXiv:1905.04215, 2019.

[45] B. Wu, S. Zhao, C. Chen, H. Xu, L. Wang, X. Zhang, G. Sun, and J. Zhou, “Generalization in generative adversarial networks: A novel perspective from privacy protection,” NeurIPS, vol. 32, 2019.

[46] R. Arghal, E. Lei, and S. S. Bidokhti, “Robust graph neural networks via probabilistic lipschitz constraints,” in Learning for Dynamics and Control Conference, 2022.

[47] M. Fazlyab, A. Robey, H. Hassani, M.