CVPR 2025 新势力：扩散模型在小样本学习中的崛起

最新推荐文章于 2025-03-03 17:06:46 发布

程序员笑武

最新推荐文章于 2025-03-03 17:06:46 发布

阅读量3.9k

点赞数 30

文章标签：学习深度学习人工智能 transformer gru 计算机视觉机器学习

本文链接：https://blog.csdn.net/m0_59164304/article/details/143779259

版权

扩散模型是一种新兴的生成模型，通过模拟数据在“噪声”状态与“干净”状态之间的转化过程，逐步去除或添加噪声，从而生成逼真的数据样本。其核心机制是通过一系列的马尔科夫链去逐渐减少图像中的噪声，使其还原到原始的高质量状态，或者逆向生成新的数据。这种模型被广泛应用于图像生成、视频生成、甚至文本生成任务，展现了强大的表现力和生成能力。

在小样本学习中，扩散模型能够通过生成多样化的合成样本来帮助模型更好地泛化。当标注数据稀缺时，扩散模型可以生成大量的相似或变异数据，为模型提供更多的训练样本，从而提升模型在小样本条件下的准确性和稳健性。此外，扩散模型还能捕捉细致的特征分布，帮助学习模型在有限数据情况下更好地掌握任务相关特征，提高小样本学习的效果。

MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning

关键方法：受最近的扩散模型的启发，我们发现内环梯度下降过程可以看作是扩散的反向过程（即去噪），其中去噪的目标是基础学习者的权重，而不是原始数据的权重。在此基础上，我们提出将梯度下降算法建模为扩散模型，然后提出一种新的基于条件扩散的元学习，称为MetaDiff，有效地以去噪的方式建模基础学习者权值从高斯初始化到目标权值的优化过程。由于扩散模型的训练效率，我们的MetaDiff不需要通过内环路径进行区分，从而可以有效地减轻记忆负担和梯度消失的风险，从而改善FSL。

核心创新点：

我们首先揭示了梯度下降算法和扩散模型之间的密切联系。从工作流程中，我们发现梯度下降算法的优化过程与扩散模型的去噪过程非常相似。经过理论分析，扩散模型的去噪过程实际上是一种广义的、可学习的梯度下降算法，具有权值动量更新和不确定性估计。
基于此，我们提出了一种基于扩散的FSL元学习方法。特别是，一个基于梯度的条件UNet被设计为我们用于噪声预测的元学习器。由于扩散训练的效率，可以有效地减轻记忆负担和梯度消失的问题，从而提高元学习能力。
我们在两个公共数据集上进行了综合实验，验证了我们的MetaDiff的有效性。

SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GENERATION

关键方法：我们提出了一种新的生成式预训练框架GPD，用于城市知识转移的时空少镜头学习。与传统的严重依赖于公共特征提取或复杂的少镜头学习设计的方法不同，我们的解决方案采用了一种新的方法，即对使用来自源城市的数据进行优化的神经网络参数集合进行生成式预训练。我们将时空少镜头学习重新定义为预训练生成扩散模型，该模型在提示的引导下生成定制的神经网络，允许适应不同的数据分布和城市特定的特征。GPD采用了一种基于变压器的去噪扩散模型，该模型与模型无关，可与强大的时空神经网络集成。

核心创新点：

我们建议利用训练前范式在不同城市之间实现有效的细粒度时空知识转移，这是使用预训练模型处理城市数据稀缺场景的开创性实践。
我们提出了一种新的基于扩散模型的生成式预训练框架，称为GPD。它利用了基于变压器的扩散模型和特定城市的提示来生成神经网络，为改进时空建模开辟了新的可能性。
在多个真实场景上进行的大量实验表明，GPD在数据稀缺的场景中取得了优越的性能，在四个数据集上比最佳基线平均提高了7.87%。

No Re-Train, More Gain: Upgrading Backbones with Diffusion Model for Few-Shot Segmentation

关键方法：一种新的FSS方法，将FSS任务概念化为一个使用扩散过程的条件生成问题。对于第一个问题，我们引入了一个主干不可知的特征转换模块，它将不同的分割线索转换为统一的粗先验，促进了无缝的主干升级，而无需再训练。对于第二个问题，由于来自不同注释类型的转换先验的粒度不同，我们将这些多粒度转换先验概念化为类似于在扩散模型的不同步骤中的噪声中间体。这是通过一个自调节调制块耦合到一个双级质量调制分支来实现的。对于第三个问题，我们合并了一个具有不确定性感知的信息融合模块，该模块协调了在零镜头、一次性和多镜头场景中的可变性。

核心创新点：

无需再培训的骨干升级：据我们所知，这是第一次尝试在FSS领域引入无需再培训的骨干升级的概念。这是通过主干-不可知的特征转换（BAFT）模块来实现的。
生成问题公式：我们将FSS概念化为一个条件扩散过程，其中多颗粒先验与扩散过程中的噪声中间产物复杂地相连。这是通过基于统一质量感知扩散的解码器（UQDD）来实现的。
统一模型架构：我们提出了一种模型架构，它可以有效地处理各种注释类型（例如，涂鸦、边界框、掩码和文本）以及不同的数量（从零镜头和一次性到多镜头场景）。
优越的性能：我们的模型通过严格的基准测试演示了增强的性能，验证了我们的方法的有效性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述