AAAI 2025｜西工大、阿里等机构提出负增强样本增强细粒度视觉语言预训练模型！

本文链接：https://blog.csdn.net/m0_59235945/article/details/145143496

论文链接：

https://arxiv.org/pdf/2412.10029

简介

现有的视觉语言预训练（VLP）方法在各种视觉语言任务中取得了显着的改进，证实了它们在捕获粗粒度语义相关性方面的有效性。然而，它们的细粒度理解能力（这对于许多细致入微的视觉语言应用程序至关重要）仍然有限。VLP 模型常常忽视表达不同模态特征时的复杂区别，并且通常依赖于跨模态交互的整体特征的相似性。此外，这些模型直接对齐和集成来自不同模态的特征，更多地关注粗粒度的一般表示，因此无法捕获需要更详细感知的任务所需的细微差别。针对这些限制，文中引入了负增强样本（NAS），是一种改进的视觉语言预训练模型，创新性地结合了 NAS，专门解决细粒度理解的挑战。NAS 利用视觉词典（VD） 作为视觉和语言领域之间的语义桥梁。此外，采用基于 VD 的负视觉增强 (NVA) 方法来生成具有挑战性的负图像样本。这些样本仅在token级别偏离正样本，因此需要模型以更高的精度辨别正样本和负样本之间的细微差异。综合实验验证了 NAS 组件的功效，并强调了其增强细粒度视觉语言理解的潜力。

如图 1 (a) 所示，NTA 方法采用辅助模型或基于语法的算法来生成故意与相应图像错位的负文本样本。如图1（b）所示，本文将VD集成到VLP模型中，将其视为视觉原始特征的语义抽象，以弥合模态之间的语义差距。VD 有效地将连续视觉输入量化为离散标记，简化细粒度提取并提高通用性。

论文贡献

首先提出NTVA方法来同时构建硬负文本和视觉样本，与FGITM任务一起可以显着提高细粒度能力。NTVA方法是一种通用的数据构造方法，可应用于相关图像细粒度任务。
引入了一种名为NAS 的新型VLP 模型，将NTVA 方法应用于VLP 模型。NAS以ALBEF结构为框架，显着提高了VLP模型的细粒度能力。
通过对ARO、Winoground 和VALSE 数据集的综合实验，证实了NAS 的有效性。结果证实，提出的 NTVA 方法在这些数据集中设置了新的 SOTA。

方法

给定图像-文本对 (I, T )，图像 I 被编码为嵌入，其中是 [CLS] 标记的嵌入，N 表示图像块的数量。文本 T 类似地转换为嵌入，其中对应于文本的 [CLS] 标记嵌入，M 表示语言编码器的最大序列长度。对于视觉特征，除了[CLS]标记之外的所有嵌入都根据VD量化为离散标记，然后与[CLS]标记连接以形成增强的视觉表示。

模型架构如图3所示。预训练包括两个不同的阶段。在第一阶段，量化图像嵌入通过多模态编码器内的交叉注意机制与编码文本嵌入集成。在第二阶段，量化图像嵌入用于通过我们的 NVA 模块获取token级负图像样本。这些样本与正图像输入一起被馈送到多模态编码器中。多模态编码器的输出用于预训练和微调下游任务。

图3:(a) 所提出的端到端预训练模型 NAS 的框架。(b) 我们的 NVA 插图。图像编码器编码的连续视觉嵌入首先被量化为离散嵌入，然后根据全局[CLS]嵌入和局部离散嵌入之间的相似性来识别图像嵌入中的对象。我们使用对象嵌入来搜索字典中的前 k 个邻居，并用邻居标记替换它们以构造负图像样本。[彩色效果最佳。]

负视觉增强模块

在本模块中，引入 VD 作为基本组件，充当生成负图像样本的量化框架。形式化为矩阵，它包含 m 个向量，每个向量的维度为 c。字典最初是随机的，通过小批量的移动平均过程逐渐完善。将每个视觉特征与字典中的嵌入向量相关联的过程定义为：

小批量内 VD 的更新遵循以下等式：

由于 argmin 运算是不可微的，采用停止梯度运算来促进视觉编码器的训练：

为了生成负图像样本，利用文本全局特征、视觉全局特征和视觉局部特征。与仅依赖或 token进行对象识别的传统方法不同，文中方法综合了两者以提高准确性。通过计算和所有局部视觉特征之间的余弦相似度以及和之间的的加权和 S 来识别图像中的主要对象：

预训练任务

**细粒度图像文本匹配:**ITM 预测给定的图像文本对是正（匹配）还是负（不匹配），这是一个二元分类任务。基于 ITM，所提出的 FGITM 旨在捕获图像文本对的细粒度差异。对于每个输入图像-文本对，文中使用两种类型的负图像样本：根据每个小批量中图像和文本的相似度选择的批内负图像样本（选择相似度最高的非匹配图像）作为负图像样本），以及使用 NVA 模块生成的令牌级负样本。本文使用多模态编码器的[CLS]标记的输出嵌入作为图像-文本对的联合表示，并附加分类层来预测图像-文本匹配概率pitm。FGITM 损失是交叉熵损失：

图文对比学习： 文中遵循 ALBEF 中 ITC 损失的相同设置。具体来说，图像和文本之间的相似度通过相似度函数 s(I, T )计算，其中和是由线性层和归一化层组成的线性变换。这些变换将和映射到降维空间中的归一化向量。维护两个队列来缓存最近获得的M个图像表示和M个文本表示，它们分别由动量文本编码器和动量图像编码器计算。从动量模型获得的归一化特征表示,定义正表示之间的相似函数预训练编码器和动量编码器的负表示。对于每个图像和文本，计算 softmax 归一化的图像到文本和文本到图像的相似度：

掩码语言建模: 掩码语言模型（MLM）利用图像和上下文文本来预测掩码词。以 15% 的概率随机屏蔽输入 token，并用特殊 token [MASK] 替换它们（在 BERT 之后，替换为 10% 随机 token、10% 不变和 80% [MASK]）。设表示屏蔽文本，表示屏蔽标记的预测概率。MLM 最小化交叉熵损失：

其中是 one-hot 词汇分布。NAS 的完整预训练目标是：

实验结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述