CV论文--2024.3.12

1、Tell, Don't Show!: Language Guidance Eases Transfer Across Domains in Images and Videos

中文标题：告诉，不要展示！：语言指导简化了图像和视频中跨域的传输

简介：我们提出了LaGTran，这是一个新颖的框架，利用现成或容易获取的文本描述来指导从标记源数据到存在领域转移的未标记目标数据的强大的区分性知识的转移。虽然已经存在无监督适应方法来解决这个问题，但它们在处理具有挑战性的领域转移方面显示出局限性，因为它们仅仅在像素空间内进行操作。

受到我们观察到的语义更丰富的文本模态具有更有利的传输属性的启发，我们设计了一种传输机制，使用源训练的文本分类器在目标文本描述上生成预测，并利用这些预测作为相应图像的监督。我们的方法是由语言指导驱动的，令人惊讶的是，它非常简单易懂，但在具有挑战性的数据集（如GeoNet和DomainNet）上明显优于所有先前的方法，验证了其极高的有效性。

为了进一步扩展我们研究的范围，超越图像，我们引入了一个新的基准来研究视频中的自我-外部转移，并发现我们的语言辅助LaGTran在这种高度具有挑战性和非常规的转移设置中产生了显著的收益。我们的代码、模型和提议的数据集可以在https://tarun005.github.io/lagtran/ 上公开获取。

2、Tune without Validation: Searching for Learning Rate and Weight Decay on Training Sets

中文标题：无需验证的调整：搜索训练集上的学习率和权重衰减

简介：我们提出了一种名为Tune without Validation (Twin)的流水线，用于在没有验证集的情况下调整学习率和权重衰减。我们利用了关于学习阶段的最新理论框架，设计了一种启发式方法，可以预测哪些超参数组合会产生更好的泛化效果。

Twin使用早期/非早期停止调度程序对一系列实验进行网格搜索，并将提供最佳训练损失结果的区域分段。在这些试验中，权重范数与预测泛化效果之间存在强烈的相关性。我们的方法重点关注小样本场景，并在20个图像分类数据集上进行了大量实验，训练了多个深度网络家族，包括卷积、变压器和前馈模型。

我们展示了Twin在从头开始训练和微调时适当的超参数选择，并且证明了其有效性。

3、Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapola

中文标题：超越有限数据：通过 Extrapola 实现无数据分布外泛化

简介：深度神经网络具有有利但具有挑战性的特性，即在分布外（OOD）情况下的泛化能力。核心挑战在于源域的可用性有限，这些源域有助于模型学习不变表示以应对虚假特征。已经提出了各种域增强方法，但它们主要依赖于插值现有域，往往面临着创建真正“新颖”域的困难。

然而，人类可以轻松地对新颖领域进行外推，这引发了一个有趣的问题：神经网络如何像人类一样进行外推并实现OOD泛化？为了解决这个问题，我们引入了一种新颖的域外推方法，利用推理能力和大型语言模型（LLMs）中封装的广泛知识来合成全新的域。

我们从感兴趣的类别开始，在LLMs中查询相关知识以提取这些新颖领域的特征。然后，我们使用文本到图像生成技术来填补LLMs从文本中提取的知识与模型的像素输入空间之间的差距。通过将这些高保真度、照片般逼真的图像添加到域泛化数据集的训练集中，我们在各种基准测试中实现了显著的改进，包括单一和多域泛化。

我们的方法具有外推任何类别的任何域的能力，有潜力学习广义模型而无需任何数据。为了验证这一点，我们提出了一个更为困难的设置，称为无数据域泛化，旨在在没有收集到任何数据的情况下学习广义模型。我们的实证研究支持上述论点，表明我们的方法在这个设置中表现出色，甚至在VLCS等数据集上超过监督设置约1-2％的性能。