点燃创新之火：CVPR 2025扩散模型与半监督学习的新视野

最新推荐文章于 2025-04-14 17:04:46 发布

大靠山

最新推荐文章于 2025-04-14 17:04:46 发布

阅读量2.6k

点赞数 26

文章标签：学习人工智能机器学习知识图谱语言模型自然语言处理 prompt

本文链接：https://blog.csdn.net/m0_59235245/article/details/143694860

版权

扩散模型（Diffusion Model）是一种生成模型，它通过模拟数据分布的逐步演化，逐层地从噪声中生成清晰的图像、文本或其他数据类型。这种模型的基本原理是通过一个逐渐添加噪声的过程来模拟数据的“扩散”过程，并反向进行噪声的去除，从而还原出逼真的生成结果。扩散模型因其在图像生成和其他生成式任务中表现出色，逐渐成为生成模型领域的前沿技术。

在半监督学习中，标签数据有限是常见的问题，而扩散模型通过生成高质量的伪数据，有效提升了模型的泛化能力。通过利用扩散模型生成的伪标签数据，模型可以更好地学习到未标注数据的分布特性，从而提高分类或识别任务的准确性。这种方法不仅增强了半监督学习在少量标签条件下的表现，还带来了更多创新的可能性，使其在图像识别、自然语言处理等任务中展示出强大的应用潜力。

为了方便有论文需求的同学，我整理了8篇关于半监督学习扩散模型最新改进变体。这些变体包括与半监督学习扩散模型的最新结合方案，并附上了开源代码。

Exploring One-Shot Semi-supervised Federated Learning with Pre-trained Diffusion Models

关键方法：我们将强大的扩散模型（DM）引入到半fl中，并提出了一种受联邦扩散启发的半等监督联合训练方法FedDISC。具体地说，我们首先提取已标记的服务器数据的原型，并使用这些原型来预测客户端数据的伪标签。对于每个类别，我们计算聚类质心和领域特定的表示，以表示其分布的语义和风格信息。在添加噪声后，这些表示被发送回服务器，服务器使用预先训练的DM生成符合客户端分布的合成数据集，并在其上训练一个全局模型。在DM内部大量知识的帮助下，合成数据集具有与客户端图像相当的质量和多样性，随后能够训练全局模型，达到相当于甚至超过监督集中训练的上限。FedDISC在一个通信回合内工作，不需要任何本地培训，并且涉及非常少的信息上传，大大提高了其实用性。

核心创新点：

我们演示了DMs在应用于FL时的出色性能，使我们能够获得符合各种客户分布的高质量的大规模合成数据集，而无需对客户进行任何培训，这是以前从未探索过的。
我们提出了FedDISC方法。在聚类质心和领域特殊表示的帮助下，我们的方法进一步提高了生成的样本的质量和多样性，从而得到了一个全局模型有潜力通过只进行一次交流就能超过集中培训的表现上限。
我们在多个真实世界的大规模图像数据集上进行了广泛的实验，以验证FedDISC的有效性。结果表明，FedDISC的性能优于所有的基线方法。在某些情况下，它甚至超过了传统FL的性能上限。充分的可视化实验也表明，与原始客户端图像相比，我们的方法可以生成具有竞争质量和多样性的合成数据集，而不会泄露客户端的隐私敏感信息。

Prompt-Driven Feature Diffusion for Open-World Semi-Supervised Learning

关键方法：我们提出了一种新的方法，在开放世界半监督学习（PDFD）的半监督学习框架中提出了提示驱动特征扩散（PDFD）。PDFD的核心是部署了一个高效的特征级扩散模型，以特定于类的提示为指导，以支持有区别的特征表示学习和特征生成，解决了OW-SSL中不可见类的标记数据不可用的挑战。特别是，PDFD利用类原型作为扩散模型中的提示，利用它们的类区分和语义泛化能力来条件和指导所有可见和不可见类的扩散过程。此外，PDFD在扩散模型训练中加入了类条件对抗损失，确保通过扩散过程生成的特征能够与真实数据的类条件特征区别对齐。此外，在半监督学习框架中，仅使用具有自信预测的未标记实例来计算看不见的类的类原型。

核心创新点：

我们为OW-SSL引入了一种新的提示驱动特征扩散（PDFD）方法，该方法利用适当设计的扩散模型的优势，提高了各类的特征表示的保真度和通用性。
我们部署了一个类条件的对抗性损失来支持特征级扩散模型的训练，加强了扩散过程中类原型的指导。
我们利用分布感知的伪标签选择策略，确保在SSL框架内平衡的类表示，而类原型是基于预测可靠性的选定实例上计算的。
我们的综合实证结果表明，PDFD优于一系列SSL、开放集SSL、NCD和OW-SSL方法。

Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

关键方法：我们提出了一种简单而有效的训练策略，即双伪训练（DPT），它建立在强半监督学习者和扩散模型之上。DPT分为三个阶段：对部分标记数据训练分类器来预测伪标签；利用这些伪标签训练条件生成模型生成伪图像；用真实和伪图像混合对分类器进行再训练。根据经验，DPT在各种设置下始终能达到半监督生成和分类的SOTA性能。

核心创新点：

我们提出了双伪训练（DPT），一种直接而有效的策略，旨在推进半监督扩散模型和分类器的前沿。
我们在不同设置下的CIFAR-10和ImageNet数据集上实现了SOTA的半监督生成性能。此外，我们还证明了具有少量标签（如< 0.1%）的扩散模型可以生成真实的、多样化的、语义上准确的图像。
我们在不同设置下的ImageNet数据集上实现了SOTA的半监督分类性能，并在CIFAR-10上获得了第二优的结果。此外，我们证明了在扩散模型的帮助下，生成增强仍然是一种可行的半监督分类方法。
我们探讨了为什么扩散模型和半监督学习者通过类级的可视化和分析在很少的标签下相互受益。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述