基于昇思MindSpore实现噪声鲁棒的持续测试时领域自适应

论文标题

Noise-Robust Continual Test-Time Domain Adaptation

论文来源

ACM MM2023

论文链接

https://dl.acm.org/doi/abs/10.1145/3581783.3612071

代码链接

https://github.com/TL-UESTC/cotta_mindspore

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持国内高校/科研机构发表1000+篇AI顶会论文。本文是昇思MindSpore AI顶会论文系列第43篇，我选择了来自电子科技大学计算机科学与工程学院的李晶晶老师团队发表于ACM MM的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。

01

研究背景

无监督域自适应（UDA）旨在将知识从有标签的源域迁移到无标签的目标域，而不损失准确性。尽管UDA方法在理论上具有吸引力，但它们通常需要在训练期间接触到源域数据，这在某些应用场景中可能并不现实。进一步地，测试时域自适应（TTA）方法应运而生，它们允许在不使用任何源数据的情况下，将预训练模型适应到新域。然而，TTA所需的迭代训练对于某些在线设备来说可能并不实用。这就引出了一个更具挑战性的场景——持续TTA，即在推理时对模型进行适应，同时目标域的分布还在持续变化。

现实世界中的多媒体边缘设备，如自动驾驶汽车，需要实时更新其模型参数以响应不断变化的环境条件，例如雾天或模糊的镜头。但是，现有方法往往忽略了由边缘多媒体设备引入的噪声问题。这些问题在现实世界中非常普遍，可能是由于边缘设备的有限能力或由于不及时维护导致的传感器退化。鉴于高斯噪声在多媒体边缘设备的数据获取中非常普遍，特别是在涉及不均匀亮度、电路元件噪声和图像传感器长期运行的实际场景中，本文增加了额外的高斯噪声，并观察到现有方法在性能上的显著下降。这突显了在目标域数据集中解决噪声问题的重要性。

这篇论文从噪声鲁棒性的角度出发，提出了一种新的方法来解决持续TTA中的噪声问题。论文通过三种有效策略来减轻噪声的影响：在类别层面使用泰勒交叉熵损失来减轻与交叉熵相关的低置信度类别偏差；在样本层面根据不确定性重新加权目标样本，防止模型对噪声样本过度拟合；最后，为了减少伪标签噪声，论文提出了一种软集成负学习机制，使用集成补充伪标签来指导模型优化。

02

团队介绍

李晶晶，电子科技大学计算机科学与工程学院研究员（校百人计划），博导。目前已在TPAMI、TIP、TKDE、CVPR和MM等JCR一区期刊及CCFA类会议上发表长文七十余篇。研究成果入选ACM MM最佳论文候选，ESI热点和高被引，以及2019年中国百篇最具影响国际学术论文。获得2022年四川省科技进步一等奖，2023年山东省自然科学二等奖，2022年吴文俊人工智能优秀青年奖，2023年吴文俊人工智能自然科学二等奖，2023年ACM SIGAI中国新星奖。

03

论文简介

软集成机制

为提高互补伪标签的准确性，本文还使用集成机制来汇总同一目标图像不同增强版本的模型输出的互补标签。使用的增强工具包括颜色抖动、随机仿射、高斯模糊、随机水平翻转和高斯噪声，如上图所示。最终，本文应用softmax操作模拟真实标签分布，防止模型过拟合。该过程可以表示为：

本文还在目标域的每幅图像中添加了方差分别为 0.03、0.06 和 0.09 的高斯噪声，以测试该方法对强噪声的鲁棒性。得到了CIFAR10C和CIFAR100C数据集上的分类错误率（%）：

05

总结与展望

本文提出了一套改进持续测试时间适应（CTTA）的方法，包括软泰勒交叉熵、基于不确定性的噪声重加权和软集成负学习。这些方法旨在解决传统CTTA方法中的几个关键问题，如模型对低置信度类别的过拟合、噪声样本的影响以及标签噪声带来的挑战。实验结果表明，本文的方法在多个公开数据集上显著提升了模型的鲁棒性和分类精度，证明了其在CTTA任务中的有效性和广泛适用性。

在研究过程中，本文采用了昇思MindSpore深度学习框架进行模型构建与训练。昇思MindSpore凭借其高效的计算能力、灵活的编程接口以及对异构硬件的良好支持，为研究提供了坚实的技术保障。昇思MindSpore的自动并行加速技术还可以极大地提升模型训练的效率。

我们建议昇思MindSpore的开发者充分利用其强大的功能和灵活的接口，探索更高效的模型训练和推理方法。昇思MindSpore的社区正在快速发展，希望开发者们积极参与社区交流，共享经验和成果，共同推动昇思MindSpore的发展。