CVPR 2025 看点：扩散模型如何颠覆零样本学习

最新推荐文章于 2025-04-14 17:04:46 发布

Python编程杰哥

最新推荐文章于 2025-04-14 17:04:46 发布

阅读量2.3k

点赞数 19

文章标签：学习人工智能深度学习语言模型算法知识图谱 prompt

本文链接：https://blog.csdn.net/xx_nm98/article/details/143865801

版权

扩散模型（Diffusion Model）是一种生成式模型，能够逐步模拟数据的生成过程。它通过一系列的反向扩散过程，将噪声逐步去除，最终生成与训练数据相似的样本。扩散模型近年来在图像生成、文本生成等领域取得了显著成果，能够生成质量极高且多样性丰富的内容。其核心思想是将数据分解成一系列的噪声步骤，然后通过反向过程还原回原始数据，因此被视为一种逐步逼近真实数据分布的有效方法。

在零样本学习（Zero-Shot Learning）中，扩散模型的作用尤为显著。零样本学习的核心挑战在于如何让模型在没有见过目标类样本的情况下，进行准确的识别和预测。扩散模型**可以通过生成虚拟样本或特征，增强模型的泛化能力，让其能在未见样本的情况下理解和推断目标类。**具体来说，扩散模型能够利用已有数据生成与目标类相似的特征或样本，帮助模型构建关于新类别的概念，从而大大提升零样本学习的性能和准确性。

DiffSCI: Zero-Shot Snapshot Compressive Imaging via Iterative Spectral Diffusion Model

关键方法：我们整合了已建立的SCI技术的优势属性和一个图像生成模型，提出了一种新的结构化零射击扩散模型，称为DiffSCI。DiffSCI利用了来自深度先验和基于优化的方法的结构洞察力，并辅以当代去噪扩散模型提供的生成能力。具体来说，首先，我们使用了一个预训练的扩散模型，这是第一次在大量的语料库中训练的RGB图像框架中作为生成去噪器。这种集成允许SCI重建的成功完成，特别是在目前的方法难以有效解决的情况下。其次，我们系统地考虑了光谱带相关性，并引入了一种稳健的方法来减轻波长不匹配，从而使RGB扩散模型能够无缝地适应MSIs。第三，采用了一种加速算法来加速数据子问题的解决。这种增强不仅加快了收敛速度，而且提高了重建过程的质量。

核心创新点：

最初，提出的DiffSCI利用在大量RGB图像上训练的扩散模型，通过PnP框架进行多光谱SCI重建，利用其生成潜力来增强SCI恢复结果。这是首次尝试填补研究空白，将扩散模型融合到多光谱SCI的PnP框架中。
认识到RGB图像中不存在的msi中固有的频谱波段相关性，我们开始了光谱相关性的综合建模。
我们介绍了一种方法来解决波长不匹配的必然问题，鉴于更广泛的光谱范围的msi比RGB图像。
我们实现了一个加速策略来得到DiffSCI中数据子问题的解析解提高了收敛速度和重建质量。

VGDIFFZERO: TEXT-TO-IMAGE DIFFUSION MODELS CAN BE ZERO-SHOT VISUAL GROUNDERS

关键方法：大规模的文本到图像扩散模型已经显示了令人印象深刻的能力，在生成任务中利用强大的视觉语言对齐能力。然而，大多数视觉语言的鉴别任务需要对仔细标记的数据集进行广泛的微调，以获得这样的对齐，而且需要花费大量的时间和计算资源。在这项工作中，我们探索直接应用预先训练的生成扩散模型应用于具有挑战性的视觉基础辨别任务，不需要任何微调和额外的训练数据集。具体来说，我们提出了VGDiffZero，这是一个简单而有效的基于文本到图像扩散模型的零镜头视觉接地框架。

核心创新点：

我们提出了一种新的基于扩散的框架，称为VGDiffZero，用于零镜头的视觉接地，没有任何额外的微调。据我们所知，这是第一次尝试在零射击设置下使用生成式扩散模型来解决视觉接地问题。
我们提出了一种综合的区域评分方法，结合输入图像的全局和局部上下文，以实现准确的建议选择。
对RefCOCO 、RefCOCO+ 和RefCOCOCOg的视觉接地基准进行的广泛实验证明了我们提出的VGDiffZero的有效性。

Text-to-Image Diffusion Models are Zero-Shot Classifiers

关键方法：我们通过提出一种评价它们作为零镜头分类器的方法来研究扩散模型。关键的想法是使用扩散模型的去噪噪声图像的能力，给定一个标签的文本描述，作为该标签的可能性的代理。我们将我们的方法应用于稳定扩散和成像，使用它来探测模型知识的细粒度方面，并将它们与CLIP的零射击能力进行比较。它们在广泛的零镜头图像分类数据集上与CLIP进行竞争。此外，它们在形状/纹理偏差测试上获得了最先进的结果，并且可以成功地执行属性绑定，而CLIP则不能。虽然生成式预训练在自然语言处理中普遍存在，但视觉基础模型经常使用其他方法，如对比学习。基于我们的发现，我们认为生成性预训练应该作为视觉语言任务的有力替代方案。

核心创新点：

我们证明了文本到图像的扩散模型可以作为有效的零镜头分类器。虽然在下游任务上使用太多的计算而非常实用，但该方法提供了一种定量研究模型所学到的知识的方法。
我们开发的技术大大降低了这些零镜头分类器的计算成本，使它们在具有许多类的数据集上可用（尽管仍然很慢）。
我们展示了Imagen的强泛化能力和稳定扩散，从而在视觉数据集上产生良好的零射击性能（与CLIP相当）。
我们表明，扩散模型对误导性的纹理线索是稳健的，实现了线索-冲突的最新结果。
我们使用我们的框架来研究扩散模型中的属性绑定，发现它们可以执行一些绑定任务，而CLIP则不能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述