eeg数据集_多模态数据的不同层次融合方法——文献阅读（4）

Lahat, Dana, Tülay Adali, and Christian Jutten. "Multimodal data fusion: an overview of methods, challenges, and prospects."Proceedings of the IEEE103.9 (2015): 1449-1477. p15-p16

多模态数据不同层次的融合方法

由于没有信息损失，在原始数据层次进行多种数据集的融合可能被认为是最好的方式。但是，在实践中，由于潜在现象复杂而未知的特性，各种复杂因素，以及具体的研究问题，在一定步骤的简化和减少之后，在一个更高的抽象层次融合数据集被认为是更实用的。下面列出的过程在实际融合数据之前，因此，他们和预处理阶段相关。当然，分析模型的选择受此时所做决策的影响。

1 数据整合（data integration）

我们提到的第一个策略是数据整合。这意味着对每个模型进行并行处理流程，随后是决策步骤。整合是处理异构数据的常用方法。但模态是完成不相称的，比如遥感技术报告物质含量vs其它报告三维结构，整合成为一个自然的选择，并且通常与分类任务相关。整合能够通过软选择，使用优化权重进行，就像融合来自无线微波传感器和雷达的数据用于降雨测量和制图。Bullmore 和 Sporns研究脑网络，通过首先基于几个脑图像模态组建结构和功能网络的分离模型，然后使用图理论框架来融合他们。数据整合是更有利的当特定模态的信息相比于共享信息带有更多权重，就像文献32中讨论的EEG-fMRI联合分析。在出现多种传感器输出的替代性软决策策略选择框架中，在数据融合内容中，对于不确定或不完整知识，置信水平，可靠性和冲突给定不同的假设在文献157中给出。由于它的简单，并且由于它允许依赖从单模态数据分析中很好建立的方法导致的相对稳定，大量现存的数据融合方法仍然基于决策水平的融合。数据整合的优缺点进一步的文献21中进行了讨论。

2 不同模态的序列化处理（processing modalities sequentially）

第二类数据融合策略是不同模态的序列化处理，此时一个（或多个）模态被用来约束其它模态。数学上来说，这等同于使用一个模态来限制自由度的数量，并且因此另一反面是一组可能的解决方案。序列方法是有理的，当一种模态在某一方面比其它模态传达更好质量的信息，比如在某些视听场景中，以及在fMRI约束的解决方案中解决了否则无法确定的，不适定的EEG反问题。

3 让模态之间能够相互作用和通信的真正融合（true fusion that lets modalities fully interact and inform each other）

本文聚焦于第三种策略，如第一部分所述的让模态之间充分地交互和通信的真正融合。真正融合的特征还在于为所有模式分配对称角色，即不是顺序的。第三部分提到的数据融合模型，以及在这部分接下来内容中提到的大部分模型，就属于这种类型。在“真正融合”之内，有几种不同程度：

使用高层次特征的真正融合

这这个方法中，通过使每个模态与少量的变量相关联，可以显著降低维度数。高层次特征通常是单变量的。例子包括标准差、偏度、活性体素的比例、简要汇总统计的其它变量、或者集合和其它属性。在这类例子中，推断问题通常是分类类型。例子包括多传感器、HMI和遥感应用。

使用多变量特征的真正融合

和高层次特征不同，这个方法使每个模态中有足够多的变量（现在是特征形式），以便使每个模态中的数据能够充分交互。在神经影像中，共同特征是对每个受试者提取的来自fMRI的任务相关的局部图像、来自sMRI的灰质图像、来自EEG的事件相关电位。在视听应用中，特征通常对应于语音频谱系数和视觉提示，例如嘴唇轮廓或说话者在场景中的存在。

使用数据原样或以最小的缩减量进行的真正融合

事实上，特征研究意味着一个两步方法：第一步，通过一个特定的标准计算特征；第二步，使用一个不同的第二个标准融合特征。合并这两个步骤的方法，从而有望更好的利用整个原始数据在文献166中提出，为了融合fMRI和EEG。自然处理原始数据的遥感应用正在变得越来越清晰。在这里，采集条件是有利的，因为两个传感器（多光谱和全景）在相同的区域以相同的视角并同时采集数据，并且模态是可比的。