干货！迈向鲁棒的测试时间适应

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

通过自监督学习进行测试时间训练（TTT）是一种解决分布变化的新兴范式。尽管取得了令人鼓舞的结果，目前尚不清楚这种方法何时有效或失败。

在这项工作中，我们首先深入研究了这类方法的局限性，发现存在严重分布变化的情况下，TTT可能会恶化而不是改善模型性能。为

了解决这个问题，我们引入了一种利用离线特征总结和在线矩匹配的测试时特征对齐策略，以实现稳健的矩估计。

此外，我们通过理论分析阐明TTT的巨大潜力，并提出改进版的测试时间训练，称为TTT++，在多个视觉基准测试中显着优于此前方法。我们的结果表明，利用以紧凑形式存储的额外信息，对于测试时算法的设计至关重要。

本期AI TIME PhD直播间，我们邀请到洛桑理工学院（EPFL）在读博士生——刘越江，为我们带来报告分享《迈向鲁棒的测试时间适应》。

刘越江：

洛桑理工学院（EPFL）在读博士生，主要研究方向为针对跨环境泛化或迁移的表征学习，包含自监督学习、因果表征学习、测试时间训练，以第一作者在NeurIPS、ICCV、AAAI等发表多篇论文。

1

Machine Learning Achievements

首先，让我们回顾一下机器学习领域近些年取得的进展和目前的局限。众所周知，通过在大量数据中训练深度神经网络，我们在很多问题中已经能得到非常强大的深度模型。比如说图像识别、自动驾驶和语音识别等。

在这些问题中，标准的benchmark上的深度模型甚至能够超过人类的智力水平。并且机器学习模型的发展速度仍在不断加快。

不过，这些方法仍然存在很多局限。

Fundamental Challenges

局限之一就是这些方法往往依赖于I.I.D假设：简单来说，我们假设训练数据与测试数据来源于同样的环境和数据分布。