An Efficient Approach to Informative Feature Extraction from Multimodal Data

论文题目：An Efficient Approach to Informative Feature Extraction
from Multimodal Data

作者：Tsinghua-Berkeley Shenzhen Institute, Tencent AI Lab,Department of EECS, Massachusetts Institute of Technology

时间：2018

论文链接：https://arxiv.org/abs/1811.08979
Github链接：https://github.com/GuyHacohen/curriculum_learning

摘要

• 本文主要提出了一个新颖的从多个数据模态中提取有用的特征的框架Soft-HGR。

• 解决了HGR的严格的whitening constrains
• 并进一步推广到处理两个以上模态和确实模态的数据
• 实验表明，我们的方法可以学习更多信息的特征映射，可以实现更有效的优化。

简介

辨别多模态数据之间的关系对于机器来说是很难的。现有的方法有CCA、欧氏距离最小化、强行执行部分命令等。
HGR maximal correlation是Pearson correlation的一个推广，用来计算合理性是非常合理的。很多时候被用来处理多模态数据。
但是HGR有两个限制，第一，whitening constraints，即要求每个特征要严格不相关，从而来保持正交几何性质，计算复杂，高维出现稳定性问题。第二