ICLR 2025 | GRAM：多模态对齐新突破

最新推荐文章于 2025-06-05 16:53:26 发布

程序员小嬛

最新推荐文章于 2025-06-05 16:53:26 发布

阅读量1.2k

点赞数 14

文章标签：人工智能论文笔记深度学习语言模型

本文链接：https://blog.csdn.net/Aifuyao/article/details/147250483

版权

论文题目：GRAMIAN MULTIMODAL REPRESENTATION LEARNING AND ALIGNMENT

在多模态数据处理领域，传统基于余弦相似度的成对对齐方法始终存在扩展性瓶颈。与之不同，Gramian Representation Alignment Measure（GRAM）另辟蹊径，创新性地通过计算k 维平行六面体体积，精准度量模态间的对齐程度。该方法直接作用于模态嵌入的高维空间，支持n 个模态同时对齐，彻底打破了传统方法仅适用于两两对齐的局限，为多模态融合提供了更高效的解决方案。

为进一步优化高维嵌入空间的对齐效果，研究团队提出基于 GRAM 的对比损失函数。该函数以 GRAM 体积计算为核心，引导多模态模型构建高度统一的嵌入空间。通过最小化模态向量张成的平行六面体体积，模型在下游任务中实现了性能突破，刷新了多项基准测试的最优结果。

GRAM 的价值不仅限于对齐度量，更可作为量化多模态模型性能的关键指标。实验数据显示，GRAM 度量值与下游任务性能呈现显著相关性（Pearson 相关系数达 0.923），即平行六面体体积越小，模型性能越优，这一发现为多模态模型的评估与优化提供了全新视角。

核心方法解析

GRAM 通过计算模态向量张成的 k 维平行六面体体积，直接在高维空间中对齐 n 个模态。其核心逻辑在于：通过最小化 Gramian 体积，实现模态间的几何对齐 —— 当多模态数据语义高度一致时，嵌入向量形成的平行六面体体积趋近于零；反之，模态错位会导致体积显著增大。这种量化方式为多模态对齐提供了直观且可计算的衡量标准。

模型架构创新

GRAM 模型架构深度融合体积度量与多模态编码。各模态的类别标记共同构建 k 维平行六面体，其体积实时反馈模态对齐状态。标记经多模态编码器进一步处理，增强预测精度。模型采用 **Gramian 多模态对比损失（LD2A 与 LDAM）** 进行预训练，通过优化体积度量与损失函数的协同，实现对齐效果与模型性能的双重提升。

实证性能优势

在 MSR-VTT、DiDeMo、ActivityNet 和 VATEX 四大权威数据集的文本 - 视频检索任务中，GRAM 方法展现出卓越性能。通过对比 Recall at 1（R@1）指标发现，GRAM 驱动的模型在检索准确率上显著优于传统方法。R@1 作为衡量检索任务中 “首位命中概率” 的核心指标，其提升直接验证了 GRAM 在多模态数据处理中的有效性，凸显了模态对齐优化对检索性能的关键作用。