多模态在内容理解的应用

2020 年机器学习趋势：建立统一的跨媒体多模态内容理解内核

描述类任务（表示，转换，对齐，融合）

视频描述

1 Predicting Visual Features from Text for Image and Video Caption Retrieval：输入原始图像，图像标题和众多描述图像的句子，将它们映射到隐空间并合成视频描述。
2 Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video
Captioning：输入原始视频和视频的文字索引来进行视频描述工作。
3 Multimodal Dual Attention Memory for Video Story Question Answering：这是一个 VQA 任务，把原始视频，视频的描述和问题输入最终得到答案。
4 Dual-Stream Recurrent Neural Network for Video Captioning:
将原始的视频和静态的图像（用来描述视频）一起输入，得到对视频的描述。

医疗问答

1 Ensemble of Streamlined Bilinear Visual Question Answering Models for the ImageCLEF 2019 Challenge in the Medical Domain:简单把图像和问题输入得到答案。
2 Multimodal Explanations: Justifying Decisions and Pointing to the Evidence：把 VQA 框架用于关于健康问题的问答。

分析类任务（表征，融合）

视频分类

分类框架：

Divide, Conquer and Combine: Hierarchical Feature Fusion Network with Local and Global Perspectives for Multimodal Affective Computing:
这是一个较为通用的多模态视频分类任务网络，将特征组合成矩阵，采用 outer-product 计算任意组合的乘积，为避免外积太长，用滑动窗对自向量求外积。
1 Towards Good Practices for Multi-modal Fusion in Large-scale Video Classification: 将视频和代表性的音频文件一起输入进行视频分类。
2 Modeling Multimodal Clues in a Hybrid Deep Learning Framework for Video Classification: 将空间视频、运动视频、音频和原视频一起输入，得到结果。
3 Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification:
同样还是将图像、视频和音频异构信息一起输入，得到视频分类的结果。

情感分类：

1 Contextual Inter-modal Attention for Multi-modal Sentiment Analysis：将文字，视频和声音输入来对人的情感进行分类。
2 Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling：将图像、标题和文字放入模型进行情感分类。

假新闻识别

1 Exploiting Multi-domain Visual Information for Fake News Detection：将图像和对图像词频的统计输入来进行假新闻分类。
2 EANN: Event Adversarial Neural Networks for Multi-Modal Fake News Detection:将图像和文字输入来对假新闻进行检测。
3 A Deep Learning Approach for Multimodal Deception Detection：将视频、音频、文字和高频词放入模型进行假新闻识别。

图像/视频质量评价

1 A deep learning framework for quality assessment and restoration in video endoscopy:将视频和视频检测结果输入来进行质量评价。

标题党检测

1 Characterizing Clickbaits on Instagram:将图像、标题和文字描述输入模型来分类是否是标题党。

社交网络的实体匹配

1 Multimodal Learning of Social Image Representation by Exploiting Social Relations:运用图像和相关文字注释对个体进行分类分组。
2 From content to links: Social image embedding with deep multimodal model：跟上一篇文章类似，也是利用相关图像和文字进行社交群体分类。