【ICCV2023】通过 Model-Agnostic Adapters 平衡 IID 和 OOD 困境

最新推荐文章于 2024-08-06 18:34:36 发布

woshicver

最新推荐文章于 2024-08-06 18:34:36 发布

阅读量221

点赞数

本文链接：https://blog.csdn.net/woshicver/article/details/134213373

版权

论文提出MAP方法，通过模型不可知适配器平衡深度学习模型在独立同分布（IID）和超出分布（OOD）场景的泛化性能，解决了IID-OOD困境。实验表明，MAP在保持良好OOD性能的同时显著提升IID性能。

摘要由CSDN通过智能技术生成

论文标题：MAP: Towards Balanced Generalization of IID and OOD through Model-Agnostic Adapters

论文链接：https://openaccess.thecvf.com/content/ICCV2023/html/Zhang_MAP_Towards_Balanced_Generalization_of_IID_and_OOD_through_Model-Agnostic_ICCV_2023_paper.html

代码：暂未开源

引用：Zhang M, Yuan J, He Y, et al. MAP: Towards Balanced Generalization of IID and OOD through Model-Agnostic Adapters[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 11921-11931.

导读

深度学习在近年取得了巨大的成功，但大多数这些成功是基于独立同分布（IID）的假设构建的。这在一定程度上限制了深度学习在更具挑战性的非分布（OOD）情境下的应用。虽然已经提出了许多OOD方法来解决这个问题，并在训练分布发生重大变化的测试数据上取得了良好的性能，但有趣的是，实验证明这些方法在实现优秀的OOD性能的同时，牺牲了IID性能。本文将这一发现称为IID-OOD困境。显然，在现实应用中，训练数据和测试数据之间的分布差异通常是不确定的，这些差异可能很小，甚至接近IID情景，因此在IID和OOD之间设计具有平衡泛化能力的深度模型非常重要。

因此，在本文中，我们研究了一个有趣的问题，即如何平衡IID和OOD的泛化，并提出了一种新颖的“模型不可知适配器”（Model Agnostic adaPters，MAP）方法，该方法更可靠且有效，适用于分布变化不确定的现实世界数据。我们使用辅助适配器层将IID的归纳偏差纳入OOD方法中。为实现这一目标，我们采用了双层优化，明确地模拟和优化了OOD模型与辅助适配器层之间的耦合关系。我们还从理论上给出了一阶近似以节省计算时间。在六个数据集上的实验结果成功地证明了MAP可以显著提高IID的性能，同时实现了良好的OOD性能。