【TPAMI2022】关联关系驱动的多模态分类

最新推荐文章于 2025-03-20 09:30:00 发布

数据派THU

最新推荐文章于 2025-03-20 09:30:00 发布

阅读量652

点赞数

文章标签：机器学习人工智能深度学习算法大数据

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247561661&idx=3&sn=0aa052ded617f2a249fbb7caa025afce&chksm=e9e0f836de9771207f942978a751e924b422ed13c16817e940e8c907e95d9914cd4fc21ff75e&scene=126&&sessionid=0

版权

来源：专知
本文为论文，建议阅读5分钟如何有效融合不同模态信息进行分析决策是该领域的重要科学问题。

多模态数据是信息科学领域的常见数据形态，如何有效融合不同模态信息进行分析决策是该领域的重要科学问题。从学习范式来看，现有传统多模态学习范式往往忽视了特征间的关联关系信息和特征的高阶信息；深度多模态学习范式则面临数据饥渴、融合过程语义解释性不强问题。尽管面向多模态信息处理已取得了一些进步，但仍然面临着不同模态语义统一表示难、融合效果提升难等挑战（图1）。

图 1 现有多模态学习范式面临的挑战

针对多模态机器学习面临的挑战，该研究通过采用将特征间的关联关系信息和高阶信息耦合到原数据空间的技术路线（图2），提出了关联关系驱动的融合方法（AF）。该方法首先使用具有语义的幂次函数来建模原始数据的高阶信息来提升数据的非线性表达能力，得到一个增强的特征空间；然后通过计算任意两个特征间的相关性得到关系融合矩阵，使用该融合矩阵将增强的特征空间映射到一个关联关系空间。与主流方法深度学习采用基于学习策略建模数据的非线性相比，AF提供了使用具有语义的函数建模数据非线性能力的新视角；此外，与深度学习采用学习策略得到融合参数矩阵方式相比，AF采用基于统计方法的关联指标计算特征间关系，该策略不仅具有语义，而且没引入额外的学习参数。AF所采用的建模数据非线性能力的方式有望为缓解现有深度学习模型面临的解释性瓶颈问题提供新视角。