Fourier 测试时间自适应与多级一致性用于鲁棒分类

Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification

摘要

该研究提出了一种名为 Fourier 测试时间适应（FTTA）的新方法，以应对不同中心、供应商和协议产生的领域偏移。FTTA 采用双适应设计，将输入和模型调整相结合，从而共同提高模型的鲁棒性。FTTA 的主要思想是建立一种可靠的配对输入的多级一致性度量，以实现对预测的自我校正。

其贡献有两个方面：一是在同一输入的两个转换图像之间鼓励全局特征和局部注意力图的一致性。这里，转换指的是基于 Fourier 的输入适应，可以将一个未见图像转换为源风格以减少域差异。此外利用样式插值图像增强全局和局部特征，具有可学习参数，可以平滑一致性度量并加速收敛。

方法

Fig. 1. 从左到右：1）来自 A 和 B 供应商的心脏四腔视图，2）来自 C 和 D 供应商的腹部平面，3）来自 E-G 中心的糖尿病视网膜病变 3 级的底片图像。每个组中都可以看到外观和分布差异

Fig. 2. 两个具有不同风格的图像之间振幅交换的示意图。右下角显示的伪彩色图像显示了振幅交换前后图像之间的差异。

当给定经过训练的分类器 $G$ 时，FTTA的流程如下：

1. 对于每个未见过的测试图像 $x_t$，首先进行傅里叶变换输入适应，将其转换为两个类似源样本的图像 $x_{t1}$和 $x_{t2}$。
2. 然后，利用线性样式插值，生成两组图像，用于后续的全局特征平滑一致性测量$L_f$和局部视觉注意力$L_c$。
3. 在频率空间中，根据样式插值一致性计算逻辑空间中的正则化$L_s$。
4. 最后，基于多一致性损失进行一次更新，输出最终的平均预测。

实验结果