（一）：深度多模态学习-最近的进展和趋势的调查

• 题目：Deep multimodal learning- A survey on recent advances and trends。深度多模态学习-最近的进展和趋势的调查
• 出处：IEEE Signal Process. Mag. 34(6): 96-108 (2017)

Abstruct

本文主要：

1. 对深度多模态学习体系结构进行分类
2. 讨论在深度学习体系结构中融合学习到的多模态表示的方法
3. 学习或优化多模态融合结构的正则化策略和方法

Introduction

• 多模态数据集由观察共同现象的不同传感器的数据组成，其目标是以一种互补的方式使用数据来学习复杂的任务。
• 深度学习的主要优势之一是：可以为每种模式自动学习层次表示。
• 本文的目的：对深度多模态学习的研究现状进行全面的综述，并通过强调这一活跃领域的进展、差距和挑战，提出未来的研究方向。
• 本文主要介绍：
  1)使用正则化技术改进交叉模态学习的方法(参见“多模态正则化”一节)
  2)通过搜索、优化或一些学习过程(参见“融合结构学习和优化”一节)，试图找到最优的深度多模态架构的方法。

Background

• 使用多模态数据的潜在动机是，对于给定的学习任务，可以从考虑的每个模态中提取互补信息，产生更丰富的表示，与仅使用单一模态相比，可以用于产生更大的性能改进。
• 应用：在医学图像分析中，多种成像方式的