CV每日论文--2024.5.24

1、The Entropy Enigma: Success and Failure of Entropy Minimization

中文标题：熵之谜：熵最小化的成功与失败

简介：这段话的要点是:

（1）熵最小化(EM)经常用于在测试时面对新数据时提高分类模型的准确性。EM是一种自我监督学习方法,可以优化分类器以分配更高的概率给其预测的前几个类别。

（2）本文分析了为什么在适应模型几步后EM有效,以及为什么在适应多步后最终失败。作者发现,最初,EM使模型将测试图像嵌入到训练图像附近,从而提高了模型的准确性。经过多次优化后,EM使模型将测试图像嵌入到训练图像的嵌入远离的位置,这导致准确性下降。

（3）基于这些见解,作者提出了一种估计给定任意数据集上模型准确性的方法,无需访问标签。该方法通过观察输入图像的嵌入随着模型优化以最小化熵而发生的变化来估计准确性。

（4）在23个具有挑战性的数据集上的实验表明,作者提出的方法以5.75%的平均绝对误差设置了SoTA,比该任务先前的SoTA提高了29.62%。

（5）作者的代码可在https://github.com/oripress/EntropyEnigma上获取。

2、AM-RADIO: Agglomerative Model -- Reduce All Domains Into One

中文标题：AM-RADIO：凝聚模型——将所有领域缩减为一个

简介：近年来出现了一些重要的视觉基础模型(VFM),如CLIP、DINOv2和SAM,它们在各自的训练目标上展现了突出的性能。尽管这些模型在概念上存在差异,但它们的独特特征可以通过蒸馏的方式融合到一个统一的模型中。研究人员将这种方法命名为AM-RADIO(Agglomerative Vision Foundation Model - Reduce All Domains Into One)。

AM-RADIO不仅在多个基准测试中超越了单个教师模型的性能,而且还保留了教师模型的独特特征,如零样本视觉语言理解、精细的像素级理解和开放词汇的分割能力。为了实现最高的硬件效率,研究人员在多教师蒸馏管道中评估了许多架构,最终开发了一种新颖的架构-E-RADIO,它在性能上超越了前身,并且至少比教师模型快7倍。

AM-RADIO和E-RADIO的全面基准测试包括ImageNet分类、ADE20k语义分割、COCO目标检测和LLaVa-1.5框架等任务。这些结果证明了这种聚合方法的有效性和优势。有关AM-RADIO和E-RADIO的更多技术细节和代码,请参考https://github.com/NVlabs/RADIO。

3、Tutorial on Diffusion Models for Imaging and Vision

中文标题：成像和视觉扩散模型教程

简介：近年来,基于扩散模型的生成工具发展迅猛,为文本到图像生成、文本到视频生成等多个令人兴奋的应用领域提供了有力支撑。与之前的生成方法相比,扩散模型采用了特定的采样机制,克服了一些被认为难以解决的缺陷。

本教程旨在介绍扩散模型的基本思想。目标受众包括对研究扩散模型或将其应用于解决其他问题感兴趣的本科生和研究生。通过学习本教程,读者可以深入理解扩散模型的基本原理,为未来的研究和应用奠定基础。教程内容涵盖扩散模型的核心概念、数学原理以及在实际应用中的具体实现等方面。

希望本教程能为有兴趣了解和使用扩散模型的读者提供一个有价值的学习资源。