AAAI 2025｜复旦大学构建因果干预模块，实现人类语言序列的去偏多模态理解_debiased multimodal understanding for human langua-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/144774021

Debiased Multimodal Understanding for Human Language Sequences

论文链接：

https://arxiv.org/html/2403.05025v3

简介

人类多模态语言理解（MLU）是异质模态表达分析（例如情感或幽默）不可或缺的组成部分，包括视觉姿势、语言内容和听觉行为。现有的工作总是专注于设计复杂的结构或融合策略以实现令人印象深刻的改进。不幸的是，由于subject之间的数据分布差异，它们都面临subject变异问题。具体来说，MLU 模型很容易被训练数据中具有不同表达习惯和特征的不同主题误导，以学习特定于主题的虚假相关性，从而限制了新主题的性能和泛化性。受这一观察的启发，文中引入了概括因果图来制定 MLU 程序并分析subject的混杂效应。然后，提出了 SuCI，一个简单而有效的因果干预模块，用于理清作为未观察到的混杂因素的subject的影响，并通过真正的因果效应实现模型训练。作为一个即插即用的组件，SuCI 可以广泛应用于大多数寻求公正预测的方法。对多个 MLU 基准的综合实验清楚地表明了所提出模块的有效性。

论文贡献

通过定制的因果图研究 MLU 任务中的subject变异问题，并将subject识别为混杂因素，这会误导模型捕获subject特定的虚假相关性并导致预测偏差。
基于后门调整的因果理论，提出了SuCI，一个subject因果干预模块，以消除subject的预测偏差和混杂效应。
评估 SuCI 在多个 MLU 基准上的有效性。实验结果表明，SuCI 可以显着且持续地改进现有基线，实现新的 SOTA 性能。

方法

图 3：用于主题去混杂训练的通用 MLU 管道。红色虚线框显示了实现因果干预近似的核心组件：SuCI。SuCI 可以通过后门调整轻松集成到普通 MLU 模型中，以减轻特定于主题的虚假相关性并在下游任务中实现去偏预测。

MLU 任务中的结构因果图

为了系统地诊断 MLU 任务中存在的混杂效应，首先设计一个概括因果图来总结变量之间的因果关系。遵循结构化因果模型的主流图形表示法因其直观性和可解释性而被采用。具体来说，因果图 G = {N , E} 被认为是有向无环图，表示一组变量 N 如何通过因果链接 E 传达因果效应。如图 2(a) 所示，其中有四个变量MLU 因果图，包括多模态输入 X、多模态表示 M 、非预期混杂因素 Z 和预测 Y 。请注意，文中提出的因果图适用于各种 MLU 方法，因为它非常通用，对详细实现没有任何限制。具体因果性的定义可参阅原文。

通过后门调整进行因果干预

按照图 2(a) 中的因果图，MLU 模型依赖于可能性 P (Y |X) 来进行受后门效应影响的预测，可以通过贝叶斯规则将其分解如下：

其中表示用于学习多模态表示 M 的任何普通 MLU 模型。z 是混杂因素层（即主体），它通过 P (z|X) 引入观察偏差。理论上，一个理想的解决方案是收集海量数据样本，以确保具有不同表达特征的subject都包含在训练和测试集中。然而，由于社会伦理问题，这种方式是不现实的。为了解决这个问题，文中采用因果干预 P (Y |do(X)) 通过后门调整理论来中断 X 和 Y 之间沿着后门路径传播的不利影响。改进后的公式如下：

使用 SuCI 进行目标去混杂训练

提出了一个插件主体因果干预模块（SuCI）来转换上述公式中的理论干预。如图 3 所示，SuCI 可以轻松集成到普通 MLU 模型中，以通过主题去混杂训练来估计 P (Y |do(X))。

特定主题的特征解开：如何有效地将特定于subject的特征与异质模态分开是确定混杂因素的关键。考虑到与主题相关的虚假语义通常分布在多模态序列的不同帧之间，首先设计了一种动态融合机制来聚合帧级语义线索。

解开混杂物构造：混杂因素构建的目的是使模型在训练过程中衡量不同阶层之间主题混杂因素的因果效应，以避免与主题相关的预测偏差。考虑到同一阶层内的subject特征相似，不同阶层之间的subject特征不同，文中利用特定subject的所有特征作为subject原型，它代表了特定阶层中混杂因素的普遍属性。具体来说，在训练期间为每个subject维护一个内存缓存，以存储和更新主题原型作为混杂因素。

干预实例化：在实践中估计 P (Y |do(X)) 的开销很高，因为它需要对每对进行 X 和 z 的前向计算。为了减少开销，引入了归一化加权几何平均（NWGM）来实现干预实例化的特征级近似。

目标优化：采用标准交叉熵损失作为任务相关的训练目标。

实验结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述