ICML 2024 | 利用不基于领域知识的扩散模型增强无监督对比学习

最新推荐文章于 2024-10-15 10:20:47 发布

江湖人称麻花滕

最新推荐文章于 2024-10-15 10:20:47 发布

阅读量1.2k

点赞数 44

文章标签：学习人工智能深度学习迁移学习机器学习语言模型自然语言处理

本文链接：https://blog.csdn.net/m0_59235699/article/details/142263773

版权

今天给大家分享一篇西湖大学李子青教授课题组在ICML 2024上发表的论文：“DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation”。作者设计了一种基于扩散模型的数据增强方法DiffAug用于无监督对比学习。实验结果表明了DiffAug在DNA序列、生物特征、以及视觉数据集上的有效性，所提出的方法可以产生合理的增强数据，从而提高利用这些增强的无监督对比学习的性能。

摘要

无监督对比学习在视觉和生物学等领域获得了广泛关注，通过预定义的正/负样本进行表征学习。数据增强方法被划分为手工设计和基于模型的方法，已被确定为增强对比学习的重要组成部分。然而，手工设计的方法需要人类在特定领域数据方面的专业知识，有时会扭曲数据的实际含义。相比之下，基于生成模型的方法通常需要有监督或大规模的外部数据，这成为了许多领域中模型训练的瓶颈。为了解决上述问题，本文提出了一种名为DiffAug的新型无监督对比学习技术，该技术基于扩散模型生成正样本。DiffAug由语义编码器和条件扩散模型组成，其中条件扩散模型基于语义编码器生成新的正样本，以辅助无监督对比学习的训练。通过语义编码器和扩散模型的迭代训练，DiffAug能够在无监督情况下，持续不断地改进模型的表征能力。实验结果显示，DiffAug在DNA序列、生物特征和视觉数据集上优于手工设计和最新的基于模型的数据增强方法。

方法

在无监督数据增强的背景下，提供潜在语义类别的训练数据集表示为，其中N是训练集的大小。为了提高扩散模型生成正样本的无监督对比学习的训练效率，本文提出了一种新的框架DiffAug。

基础知识

对比学习

对比学习通过强化正对的相似性和扩大负对的距离来学习视觉表征。形式上，损失定义为:

其中是低维嵌入，表示正对之间相似度，表示负对之间相似度。对于传统方案，在计算机视觉领域，使用随机裁剪或数据混合等数据增强方法生成新的正数据。

软对比学习 (Soft contrastive learning)

为了解决对比学习中由于视图噪声导致的性能下降问题，并在较小规模的数据集上完成无监督学习，有研究人员设计出了软对比学习，通过评估样本对的可信度来平滑尖锐的正负样本对标签。考虑多个正样本和多个负样本的损失形式为：

‍其‍中，是高维嵌入和低维嵌入，在这里插入图片描述
。是软学习权重，由正/负对指示器计算。超参数在模型训练中引入了数据增强关系的先验知识。‍

DiffAug设计细节和训练策略

DiffAug框架

DiffAug通过迭代两个模块来完成正样本生成和数据表示的任务，如下图所示。一个模块是语义编码器，另一个是扩散生成器，其中和是模型参数。将输入数据映射到具有判别性的潜在空间，生成器生成具有语义向量的新数据。与期望最大化算法类似，语义编码器和扩散生成器由两个不同的损失函数依次训练。

语义建模 (A-Step)

在语义建模步骤中，给定中心数据，生成一个背景集合：

其中是背景数据点的数量。表示是从数据集中采样，和负对，同时表示和是正对，是从数据增强中采样。具体来说，新的正样本数据根据DDPM扩散模型生成：

其中是扩散模型的生成过程，是随机初始化的数据，是条件向量。和中的*意味着参数是冻结的。为了避免来自未经训练的生成模型的不稳定的正样本，训练完全从传统的数据增强工具开始，然后，用DiffAug生成的数据替换，替换概率为超参数λ。用软对比学习损失来更新语义编码器的参数：

其中η是学习率。

生成建模 (B-Step)

在生成建模步骤中，使用普通扩散损失训练条件扩散生成器：

其中条件向量由语义编码器生成。为条件扩散神经网络。为扩散过程中的噪声参数，。为扩散过程中的中间数据，。T是生成过程的时间步长。训练时，详细生成过程为：

其中。

增强数据生成

给定训练好的语义编码器和扩散生成器，DiffAug从任意输入数据生成新的增强数据：

结果

作者在各种数据集上进行实验，包括DNA序列，生物特征和视觉数据集。目标是证明DiffAug可以有效地运行，并促进不同领域的改进。

DNA序列数据集上的比较

本节，作者证明了DiffAug在改善DNA序列表示和分类方面的有效性。实验结果表明，DiffAug优于其他方法，实现了高达6.8%的性能改进。值得注意的是，DiffAug展示了几个显著的优势，特别是在分类指标方面：(a)DiffAug提高了序列模型在分类精度方面的性能，超过了传统的DNA数据增强方法。(b)通过从训练数据中学习分布式知识，DiffAug可以在最小的人为干预下促进数据增强，从而有可能生成更稳定的增强样本。

生物特征数据集上的比较

然后，作者将DiffAug与生物特征数据集中的SOTA无监督对比学习方法和传统降维方法进行了比较。实验结果表明，DiffAug始终优于所有其他方法，其性能比同类方法提高了0.4%至7.0%。(a)值得注意的是，DiffAug的好处不仅局限于DNA序列数据。它在生物特征等领域也表现出色，在传统的生物分析中有着更广泛的应用。(b)通过DiffAug处理的数据显示不同群体之间的重叠减少，有助于加强分类。这表明DiffAug在数据类别之间划出了更明确的界限，最终得出了更精确的结果。©DNA序列和生物特征数据实验表明，DiffAug是通用的，是对其他无监督学习技术的重要补充。

视觉数据集上的比较

接下来，作者在一个视觉数据集上对DiffAug与SOTA无监督对比学习方法进行基准测试。实验结果表明，在所有数据集上，DiffAug的性能始终优于SOTA方法，展示了DiffAug数据增强的有效性。(a)超越手工设计的增强方法。DiffAug的多功能性表明其与传统的手工设计方法相当，甚至更好，其中的编码器产生更鲁棒的特征。(b)超越Mixup改进的对比学习方法。DiffAug优于典型对比学习方法中的Mixup改进的对比学习方法，此外，使用DiffAug生成的数据和利用对比学习方法训练的模型也带来了一些改进。©对于具有许多类的数据集，如CF100和TINet，DiffAug的编码器可能只是有时捕获一些局部细节。尽管如此，增强的数据对于指导对比学习产生更好的结果至关重要。

消减实验和成分有效性分析

语义编码器的消减实验

此处作者考虑了三种配置来确认语义编码器的重要性。A1是直接使用有监督的独热标签作为条件，绕过无监督神经网络生成的条件向量。A2是使用随机条件向量，而不是编码器产生的。A3表示DiffAug方法。实验结果表明，由于对标签的访问，A1的平均性能最高。完全不访问标签会带来巨大的性能下降。A3中的结果表明，DiffAug的性能与完全监督条件相当，证明了它在无监督框架中建模监督注释的能力。

训练策略和软对比学习损失函数的消减实验

类似地，B1表示该模型由SimCLR训练。B2忽略了扩散损失，只使用软对比学习损失训练编码器。B3省略了软对比学习损失，并使用InfoNCE损失训练编码器。B4和B5讨论了DiffAug的训练策略。B4表示通过单次前向传播同时更新两个网络的参数。B5为默认训练策略，通过交替使用两个损失函数来训练模型。实验结果表明，替换软对比学习损失或替换diff模型（B2或B3）都会导致性能下降，这意味着DiffAug的两个模块相互配合工作。其次，在一些数据集上，两种训练策略（B4和B5）的性能是可比较的，但在其他数据集上，EM方法表现出更高的稳定性。作者将其归因于扩散模型训练的难度因数据而异，同时训练可能导致两个模块始终无法匹配，从而导致训练的不稳定性。然而，EM训练方法避免了这个问题。

结论

本文提出了DiffAug，一个创新的对比学习框架，利用基于扩散模型的数据增强来增强无监督学习的鲁棒性和泛化能力。与许多现有的方法不同，DiffAug的操作独立于先验知识或外部标签，将其定位为一种在视觉和生命科学领域具有显著性能的多功能增强工具。实验结果表明，DiffAug在多个数据集上持续提高了分类和聚类精度。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述