【ICCV2023】开放世界 TTT 的鲁棒性：自训练与动态原型扩展

论文标题：On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion

论文链接：https://openaccess.thecvf.com/content/ICCV2023/html/Li_On_the_Robustness_of_Open-World_Test-Time_Training_Self-Training_with_Dynamic_ICCV_2023_paper.html

代码：https://github.com/Yushu-Li/OWTTT

引用：Li Y, Xu X, Su Y, et al. On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 11836-11846.

导读

将深度学习模型推广到低延迟的未知目标域分布，已经激发了对测试时间训练/自适应（test-time training/adaptation，TTT/TTA）的研究。现有的方法往往侧重于在精心管理的目标域数据下提高测试时间的训练性能。

然而，本研究指出，在目标域受到强大的OOD数据（out-of-distribution，OOD，即超出正常分布范围的数据）污染时，许多最先进的方法无法保持其性能水平。这种情况被称为开放世界测试时训练（ open-world test-time training，OWTTT）。这一失败主要是因为这些方法无法有效地区分强OOD数据样本和常规的弱OOD数据样本。

为提高OWTTT的稳健性，研究人员首先开发了一种自适应的强OOD数据剪枝方法，以提高自训练TTT方法的效力。此外，他们提出了一种方法，可以动态扩展原型以更好地表示强OOD数据样本，从而实现更好的弱/强OOD数据分离。最后，他们采用分布对齐来规范自训练，在5个OWTTT基准测试中实现了最先进的性能水平。

本文贡献

本文认为，在现有研究中被忽略的测试时训练问题，即开放世界测试时训练（OWTTT），可能受到强OOD测试数据的影响。我们证明，如果没有特殊处理，最先进的TTT方法在开放世界协议下难以进行良好的泛化。

本文引入了一种基线方法，采用原型聚类和分布对齐正则化。此外，我们进一步开发了一个强OOD检测器和原型扩展方法，以提高在OWTTT协议下的基线鲁棒性。

本文建立了一个基准用于评估OWTTT协议，覆盖了多种域偏移类型，包括常见的数据污染和风格迁移。我们的方法在建议的基准测试上取得了最先进的性能。

相关工作