dezwb的博客

TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。

在这种完全测试时适应的情况下，模型只有测试数据和自身参数。我们建议通过测试熵最小化（tent）进行适应：我们通过预测熵来优化模型的置信度。我们的方法会估算归一化统计量，并优化通道仿射变换，以便在每个批次上进行在线更新。Tent 降低了损坏的 ImageNet 和 CIFAR-10/100 图像分类的泛化误差，并达到了最先进的误差。在从 SVHN 到 MNIST/MNIST-M/USPS 的数字识别、从 GTA 到 Cityscapes 的语义分割以及 VisDA-C 基准上，Tent 处理了无源域适应。

测试时间自适应(TTA)旨在使预先7训练的模型适用于仅具有未标记测试数据流的测试分布。大多数以前的TTA方法已经在简单的测试数据流上取得了很大的成功，例如来自单个或多个分布的独立采样数据。然而，在自动驾驶等现实世界应用的动态场景中，这些尝试可能会失败，其中环境逐渐变化，测试数据随着时间的推移进行相关采样。在这项工作中，我们探索了这样的实际测试数据流来动态部署该模型，即实际测试时间适应(PTTA)。为此，针对PTTA中复杂的数据流，提出了一种健壮的测试时间适配(ROTTA)方法。

TTA的目的是在不使用任何源数据的情况下，将源预先训练的模型适应到目标域。现有的工作主要考虑目标域是静态的情况。然而，现实世界的机器感知系统运行在非静态和不断变化的环境中，其中目标域分布可能会随着时间的推移而变化。现有的方法大多基于自训练和熵正则化，可能会受到这些非平稳环境的影响。由于目标域中的分布随时间移动，伪标签变得不可靠。嘈杂的伪标签会进一步导致错误累积和灾难性的遗忘。为了解决这些问题，

完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流，当测试数据分布与训练数据分布不同时，这种方法很有效。为提高适应性能作出了若干努力。然而，我们发现，在一些刘硎的的自适应方法中，如测试时批量归一化（BN）和自学习，隐藏了两个不利的缺陷。首先，我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响，会导致不准确的估计。其次，我们证明了在测试时间自适应过程中，参数更新偏向于一些优势类。

测试时间适应(TTA)指的是使神经网络适应分布变化，在测试时间仅访问来自新领域的未标记测试样本。以前的TTA方法对无监督目标进行优化，如Tent中模型预测的熵，但尚不清楚究竟是什么造成了良好的TTA损失。本文首先提出一个令人惊讶的现象：如果我们试图在一个广泛类别函数上元学习可能的最佳TTA损失，那么我们恢复的函数与Tent使用的Softmax-熵非常相似(温度缩放的版本)。然而，这只有在我们正在适应的分类器是通过交叉熵损失来训练的情况下才成立；

本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查，OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用，但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题，这些问题混淆了真正的挑战，并使可重复性难以捉摸。为了清晰和严格的比较，我们将OTTA技术分为三个主要类别，并使用强大的视觉转换(ViT)主干对它们进行基准测试，以发现真正有效的策略。

针对实际机器系统运行在非平稳环境中的特点，提出了连续测试时间自适应(CTTA)任务，使预先训练的模型能够适应不断变化的目标域。目前，已有的方法主要集中在基于模型的自适应，旨在利用自训练的方式来提取目标域的知识。然而，在动态数据分布下，==伪标签可能存在噪声，更新后的模型参数不可靠，导致在连续的自适应过程中误差累积和灾难性遗忘。==为了应对这些挑战并保持模型的可塑性，我们设计了一个用于CTTA的可视化领域适配器(VIDA)，显式地处理领域特定知识和领域共享知识。