多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

本文链接：https://blog.csdn.net/m0_59163425/article/details/141870281

本篇介绍多模态大模型中如何基于最终结果分析各模态的影响。

具身智能被众多大佬看好，通往AGI的路最终肯定需要多个模态的大模型互相融合。多个模态配合好也是有可能去构建一个模拟现实的世界模型的。

最近一直在研究和尝试多模态大模型在一些VQA领域的前瞻研究和实际落地部署问题，遇到一个值得思考的问题：如果当预测结果出问题的时候，怎么去溯源是哪个模态的数据出的问题呢？这个方向感觉探索的足够深入是可以发论文的。

由于基于注意力机制去溯源的方法在大模型时代成本极高，因此最后还是需要考虑建模后的可解释性方法，目前主要是找到一些比较经典的可解释性机器学习方法，大家有更好的思路也可以提一提啊~

下面是一个快捷目录。

1. 可解释性机器学习分类

2. 推荐方法

一、可解释性机器学习分类

1. 内置 or 建模后

内置可解释性：将可解释模块嵌入到模型中，比如说线性模型的权重、决策树的树结构。
建模后可解释性：在模型训练结束后使用解释技术去解释模型。

2. 特定于模型 or 模型无关

特定于模型的解释：意味着必须将解释方法应用到特定的模型体系结构中
模型无关：解释方法与所用模型无关联，应用范围广

3. 全局解释 or 局部解释

全局解释：解释模型的全局行为
局部解释：在单条数据或者说单个实例上的解释

二、推荐方法

主要推荐两个方法：Permutation Importance 和 SHAP；另外还介绍了一下类似于LIME (Local Interpretable Model-agnostic Explanations) 的思路，大家还可以基于这个思路去延伸~

1. Permutation Importance

前提：在model训练完成后，才可以计算

思想：

基于“置换检验”的思想对特征重要性进行检测。简单来说，就是打乱某种模态的数据，保持其余特征不动，看其对预测精度的影响有多大。

计算步骤：

1）用多模态数据训练一个MLLM。（也可以直接用开源的）

2）验证集预测得到得分。

3）验证集的某个单模态数据进行随机打乱，比如把文本给打乱，预测得到得分。

4）将上述得分做差即可得到该模态对预测的影响。

5）同理可以在3）中把另一个模态的数据随机打乱进行验证，最后比较即可。

2. SHAP (SHapley Additive exPlanation)

前提：在model训练完成后计算

思想：

计算特征对模型输出的边际贡献，再从全局和局部两个层面对“黑盒模型”进行解释。

SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”：

对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。

具体来说，计算一个特征加入到模型时的边际贡献，然后考虑到该特征在所有的特征序列的情况下不同的边际贡献，取均值，即某该特征的SHAP baseline value，包括Kernel Shap，Deep Shap和Tree Shap。

这也是目前可解释机器学习在风控、金融中最实用的一个方法。

3. 类似于LIME (Local Interpretable Model-agnostic Explanations) 的思路

之所以说“类似于”是因为LIME暂时无法实现对图像的解释，但这个思路本身是值得借鉴的。

前提：在model训练完成后计算

思路：

使用训练的局部代理模型来对单个样本进行解释。

假设对于需要解释的黑盒模型，取关注的实例样本，在其附近进行扰动生成新的样本点，并得到黑盒模型的预测值，使用新的数据集训练可解释的模型（如线性回归、决策树），得到对黑盒模型良好的局部近似。

实现步骤

1）如上图是一个非线性的复杂模型，蓝/粉背景的交界为决策函数；

2）选取关注的样本点，如图粗线的红色十字叉为关注的样本点X；

3）定义一个相似度计算方式，以及要选取的K个特征来解释；

4）在该样本点周围进行扰动采样（细线的红色十字叉），按照它们到X的距离赋予样本权重；

5）用原模型对这些样本进行预测，并训练一个线性模型（虚线）在X的附近对原模型近似。

这样就可以使用可解释性的模型对复杂模型进行局部解释。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述