Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training
重新审视现实的测试时间训练:通过锚定聚类正则化自训练进行顺序推理和适应
Yongyi Su; Xun Xu; Tianrui Li; Kui Jia
摘要
在目标领域数据因分布偏移而需要适应时,部署模型是必要的。测试时间训练(TTT)在一个现实的场景中出现,解决了这一适应问题,此时无法获得完整的源领域数据,但需要对目标领域进行即时推理。尽管对 TTT 进行了许多努力,但实验设置存在混乱,从而导致了不公平的比较。在这项工作中,我们首先重新审视 TTT 的假设,并通过两个关键因素对 TTT 协议进行分类,即测试数据是否按顺序流式传输,以及源模型是否允许使用修改后的损失函数进行训练。在多种协议中,我们采用了现实的顺序测试时间训练(sTTT)协议