多模态概述&多模态综述

什么是多模态

多模态技术是一种涉及多种类型数据（如文本、图像、音频、视频等）的数据处理和理解技术。它通过整合这些不同类型的数据，模拟人类的多感官感知，以实现更全面和深入的信息处理。这项技术在多个领域都有应用，包括但不限于自动驾驶、情感分析、图像描述生成、视觉问答等。多模态数据融合是这一技术的核心，它可以通过数据级融合、特征级融合或决策级融合来实现。随着深度学习的发展，基于神经网络的方法在多模态融合中也变得越来越重要。

为什么要有多模态技术

它能够提升人工智能系统的理解能力，增强鲁棒性和可靠性，拓展应用领域和场景，以及促进人机交互的自然性 。随着传感器技术和深度学习算法的不断发展，多模态技术将在更多的领域发挥重要作用，推动智能系统向更高层次的发展。多模态技术的发展动力主要来自三个方向：AI模型算法和大模型的演进、各行业的数字化转型加速、物联网、社交媒体、在线购物等数据的爆炸式增长 。多模态技术能够充分利用行业应用场景中的数据资源，解决因模态不匹配而造成的数据浪费问题，从而更好地满足实际应用中的核心需求。

如何做

1. 深度融合技术：通过在模型的不同层次之间建立联系，使得深层融合的信息能够被浅层使用，避免了信息丢失，同时保持了后融合的优点。

2. 正交序列融合（OSF）：这是一种新的融合方法，它按顺序一步步合并数据，并能对不同类型的数据进行选择性加权，增强了正交性，提取每种数据类型的独特信息。

3. 动态多模态融合的深度平衡：例如BalanceMLA框架，旨在动态平衡和优化每种模态的贡献，独立调整每种模态的目标并控制其学习过程。

4. 自监督学习策略：通过自监督学习策略从无标签数据中学习特征和模式，提高模型的性能。

5. 多模态预训练模型：利用大规模多模态数据集进行预训练，学习通用的多模态特征表示，然后在特定任务上进行微调，提高性能。

6. Transformer和Embedding技术：目前主流的多模态大模型大多以Transformer为基础，通过将不同模态的数据转换为Embedding，实现不同模态之间的对齐和交互。

-------------------------------------------------------------------------------------------------------------------------------

Deep Multimodal Data Fusion-2024最新深度多模态数据融合综述

学术最前沿！2024最新深度多模态数据融合综述来袭！ (qq.com)

这篇文章是关于多模态人工智能（Multimodal AI）的综述，主要探讨了多模态数据融合的不同方法及其在深度学习时代的挑战和未来方向。以下是文章的主要内容总结：

多模态数据融合方法

1. 编码器-解码器方法：利用编码器从不同模态提取高级特征，然后通过解码器生成预测。这种方法可以细分为原始数据级融合、分层特征融合和决策级融合。

2. 注意力机制方法：通过模态内自注意力和跨模态交叉注意力来捕获不同模态之间的关系。基于Transformer的模型，如interBERT和videoBERT，是这类方法的代表。

3. 图神经网络方法（GNN）：适用于处理非欧几里得领域的数据，如社交网络或知识图谱。GNN通过图卷积网络（GCN）和图注意力网络（GAT）来聚合信息和衡量节点重要性。

4. 生成神经网络方法（GenNN）：适用于数据生成、重建和建模的任务，特别是在数据稀缺、嘈杂或不完整的情况下。这类模型可以合成缺失的模态。

5. 其他基于约束的方法：这些方法学习每种模态的分离但协调的表示，通过施加相似性约束（如CCA约束、余弦距离约束）来保持语义一致性。

未来研究方向

1. 缺失模态挑战：研究如何在至少一种模态缺失或有噪声的情况下进行有效的多模态数据融合。

2. 缺乏数据：创建更大、更高质量的多模态数据集以支持深度学习模型的训练。

3. 缺乏大型预训练模型：开发更多针对不同跨学科领域的大型预训练多模态模型，以促进模型在下游任务上的表现。

4. 模型的可解释性：提高深度学习模型的可解释性，使其在资源受限的环境中也能发挥作用，并能够解释其预测结果。

文章还提到了一些具体的应用和数据集，以及多模态数据融合在不同领域的潜在影响。作者鼓励读者阅读原文以获取更详细的信息和具体实现。