基于昇思MindSpore的顺序一致性正则化，提升跨域任务表现

论文标题

Order-preserving Consistency Regularization for Domain Adaptation and Generalization

论文来源

ICCV2023

论文链接

https://openaccess.thecvf.com/content/ICCV2023/html/Jing_Order-preserving_Consistency_Regularization_for_Domain_Adaptation_and_Generalization_ICCV_2023_paper.html

代码链接

https://github.com/Tongzhou-uestc/ocr-mindspore

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持国内高校/科研机构发表1000+篇AI顶会论文。本文是昇思MindSpore AI顶会论文系列第42篇，我选择了来自电子科技大学计算机科学与工程学院的李晶晶老师团队发表于ICCV的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。

01

研究背景

在当今数字化时代，深度学习模型在计算机视觉任务中展现出了巨大的潜力，尤其当训练和测试数据集遵循相同分布时。然而，现实世界的应用场景中，模型经常面临训练和测试数据集之间的域变化（domain shifts），这不仅降低了模型的预期性能，也影响了模型部署的可靠性。例如，在医疗影像识别和自动驾驶等安全关键型应用中，模型的失败可能导致严重后果。

域变化通常由一些特定于域的属性引起，如光照条件、背景、拍摄角度等，这些属性虽然与任务无关，但却能引起数据分布的偏移。为了解决这一问题，研究者们采用了数据增强和一致性正则化技术，以减少模型对这些域特定属性的敏感性。数据增强通过改变数据来整合域特定信息，而一致性正则化则通过在图像的原视图和增强视图上施加相同的表示或预测，来强制模型对域变化保持不变性。

尽管现有方法取得了一定的进展，但它们要么对模型训练施加了过于严格的约束，要么未能保持分类概率的有序性。例如，一种方法可能简单地要求模型对增强后的图像和原始图像产生完全相同的表示，这在实际中可能过于苛刻；另一种方法可能只关注最大分类概率的一致性，而忽略了其他类别的顺序信息，这可能降低了模型的辨别能力。

针对这些问题，本文提出了一种新颖的正则化方法——保持顺序的一致性正则化（Order-preserving Consistency Regularization, OCR）。OCR通过保持预测的顺序性，即使在图像经过数据增强后，模型对类别的排序仍然保持一致，从而提高了模型对任务无关变化的鲁棒性。一系列综合实验证明方法在多个不同的跨域任务上展示了明显的优势，特别是在对抗性攻击的鲁棒性方面。

02

团队介绍

李晶晶，电子科技大学计算机科学与工程学院研究员（校百人计划），博导。目前已在TPAMI、TIP、TKDE、CVPR和MM等JCR一区期刊及CCFA类会议上发表长文七十余篇。研究成果入选ACM MM最佳论文候选，ESI热点和高被引，以及2019年中国百篇最具影响国际学术论文。获得2022年四川省科技进步一等奖，2023年山东省自然科学二等奖，2022年吴文俊人工智能优秀青年奖，2023年吴文俊人工智能自然科学二等奖，2023年ACM SIGAI中国新星奖。

03

论文简介

05

总结与展望

本文提出了一种保序一致性正则化 (OCR) 方法，用于解决跨域任务中的域转移问题。通过数据增强、残差成分分离和残差熵最大化，OCR方法有效地提高了模型对域特定属性的鲁棒性。实验结果表明，OCR在多个跨域任务中取得了显著的性能提升，验证了其有效性和泛化能力。昇思MindSpore框架的创新之处在于，它结合了函数式和面向对象编程范式，充分发挥了两种编程风格的优势，为AI模型训练提供了灵活而高效的支持。

本研究使用了昇思MindSpore AI框架，该框架为深度学习模型的开发和训练提供了强大的支持，具有高效的计算性能和灵活的编程接口。昇思MindSpore 作为一个新兴的AI框架，拥有广阔的应用前景。随着人工智能技术的不断发展，昇思MindSpore在优化算法、硬件加速和分布式计算等方面的持续创新，将进一步提升其在科学研究和工业应用中的竞争力。未来，期待昇思MindSpore能够在更多的前沿领域和实际应用中发挥重要作用，助力科研人员和开发者实现更高效、更智能的解决方案。