【DecAlign】用于解耦多模态表征学习的分层跨模态对齐

论文创新主要是对已有理论的新颖应用，而非原创理论！

技术组件​​	​​是否原创理论​​	​​作者的创新贡献​​
​​GMM建模原型​​	否（已有方法）	多模态原型建模 + 跨模态原型对齐
​​多边际OT​​	否（已有方法）	多模态联合OT框架 + 动态权重分配
​​整体架构设计​​	​​是​​	模态解耦→分层对齐（异质性+同质性）→Transformer融合

abstract：

（问题引入1~2句）多模态表征学习的目标是在多种模态中获取共享的和互补的语义信息。然而，不同模式的内在异质性对实现有效的跨模式协作和整合提出了重大挑战.（方法提出3~4句）为了解决这一问题，我们引入了DecAlign，一个新颖的层次化跨模态比对框架，旨在将多模态表示解耦为模态唯一（异构）和模态共有（同构）特征。为了处理异质性，我们采用了一种原型引导的最佳交通路线策略，该策略利用高斯混合模型和多边际交通计划，从而在保持交通方式独特性的同时减轻了分布差异。为了增强同质性，我们通过将潜在分布匹配与最大平均差异正则化相匹配来确保跨模态的语义一致性。此外，我们加入多模态Transformer以增强高层语义特征融合，从而进一步减少跨模态的不一致性。（实验结果1~2句）我们在四个广泛使用的多模态基准测试上进行的大量实验表明，DecAlign在五个指标上的性能始终优于现有的最先进的方法。实验结果表明，DecAlign算法在保持模态特征的同时，增强上级跨模态匹配和语义一致性，显著提高了多模态表示学习的性能。

论文提出的不足：

模态异质性

不同模态之间存在数据分布差异（如高维图像vs低维文本），表示尺度不同（如素空间vs词空间），语义粒度不匹配（如全局视觉场景vs局部文本描述）

传统方法直接拼接或线性融合多模态特征，导致模态独特信息与共享语义纠缠，引发语义干扰，例如图像细节破坏文本的全局关系

跨模态对齐低效

现有方法难以处理维度不匹配，高维图像特征与低维文本特征对齐困难，导致信息冗余或丢失

语义一致性不足

模态间共享语义的潜在分布未对齐，无法保证跨模态的语义一致性

论文提出的解决办法：

模态解耦

将多模态特征分解成两部分：

模态唯一特征->保留各模态独特信息，如纹理、语法

模态共有特征->提取跨模态共享语义，如狗的概念

技术实现：使用专用编码器分离2类特征