论文新风向,迁移学习+多模态融合,性能爆炸好

2024深度学习发论文&模型涨点之——迁移学习+多模态融合
多模态如今是越来越火了,与之相关的研究方向在各大顶会基本都成了投稿热门!趁着这波风向,我也给想发论文但找不着idea的同学推荐一个创新思路:迁移学习+多模态融合
此外,通过在不同模态之间实现更有效的知识传递和信息融合,可以提高模型在新任务上的准确率。例如,胸部X光模型MultiFusionNet在某些分类任务中取得了高达99.6%的准确率 。
迁移学习和多模态学习可以相互补充,实现跨模态知识传递。例如,在一个任务上训练的模型的参数、结构或特征可以直接用于另一个任务,从而实现知识传递。同时,多模态学习可以在不同模态数据上进行学习,并通过某种方法进行融合,实现跨模态知识传递。
小编整理了一些迁移学习+多模态融合论文合集,论文原文+开源代码需要的同学关注“AI科研论文”公号,那边回复“迁移学习+多模态融”获取。

论文1

Cross-Modal Dynamic Transfer Learning for Multimodal Emotion Recognition
用于多模态情感识别的跨模态动态迁移学习

方法

模型比较:提出了一种名为Cross-modal DynAmic Transfer learning (CDaT)的表示学习方法,与现有的多模态情感识别模型进行比较。
数据集使用:在CMU-MOSEI和IEMOCAP数据集上进行实验,这些数据集包含了用于情感识别的语言、面部表情和语音信息。
模型训练:通过辅助网络学习模型置信度分数,以确定哪个模态是低置信度的,以及应该从其他模态转移多少信息。
性能评估:通过准确率和F1分数来评估CDaT在不同最先进的融合模型上的效果。

323372914ca344b28dcda2f4bc3106d4.png 

创新点

跨模态动态迁移学习:首次提出CDaT方法,动态过滤低置信度模态,并使用单模态掩蔽和跨模态表示迁移学习来补充高置信度模态。
模型置信度的估计:引入了一个额外的网络来估计实例级模态置信度,动态调整不相关模态与其他高置信度模态之间的权重。
跨模态知识迁移:提出了一种基于概率知识转移损失的动态跨模态知识迁移方法,可以在不同模态之间进行知识迁移,而不需要额外的参数。


论文2:


Elder emotion classification through multimodal fusion of intermediate layers and cross-modal transfer learning老年人情感分类通过中间层的多模态融合和跨模态迁移学习

方法

模型比较:研究了不同的建模技术,包括传统的神经网络模型和基于卷积神经网络(CNN)和长短期记忆网络(LSTM)的模型。
数据集使用:使用了ElderReact数据库,包含1323个视频剪辑,涉及3到8秒的老年人情感表达。
模型训练:对音频模型应用跨模态迁移学习技术,使用预训练的Inception网络对音频频谱图进行知识迁移。
性能评估:通过准确率和F1分数来评估所提出方法的性能,并与基线结果进行比较。

41ee24ee608c4f97b7d89cde224b448b.png 

创新点

多模态情感识别系统:针对老年人群体开发了自动化情感识别系统,整合了音频和视频模态的信息。
跨模态迁移学习的应用:在音频模型中应用了跨模态迁移学习技术,利用预训练的图像识别网络来提高音频情感识别的准确性。
中间层融合技术:通过网格搜索算法选择中间层进行融合,结合了音频和视频模态的特征,提高了情感分类的准确性。

论文3:


Master Thesis- Federated Transfer Learning with Multimodal Data
联邦迁移学习在多模态数据中的应用

方法

模型比较:提出了一个新的联邦迁移学习框架,允许用户数据的混合分布,包括单模态和多模态数据。
数据集使用:选择了包含图像(视觉)和音频(听觉)模态的多模态数据集,目标是场景分类。
模型训练:对于只有单模态数据的用户采用监督学习,而对于具有多模态数据的用户采用自监督学习。
性能评估:在非独立同分布(non-IID)数据设置下,评估了框架的准确性,并与基线模型进行比较。

ece84c46fb0842fc9c9468cb461caeaf.png 

创新点

隐私保护的联邦迁移学习框架:提出了一个新的框架,允许在保护隐私的同时,从多模态数据中转移知识到单模态数据。
自监督学习的应用:在多模态数据上应用自监督学习,以学习每个模态的特征以及它们之间的联系。
跨模态知识迁移:框架中的多模态数据的知识可以帮助提升单模态数据的性能,实现了跨模态的知识迁移。


论文4:


Multimodal deep learning for biomedical data fusion: a review
用于生物医学数据融合的多模态深度学习:一项综述

方法

现状回顾:综述了基于深度学习(DL)的生物医学数据融合策略的最新进展。
分类体系提出:提出了一个详细的分类体系,以帮助更明智地选择生物医学应用中的融合策略,并研究新方法。
数据模态分析:探讨了多模态数据如何捕获生物过程中复杂的相互关系,并利用深度学习模型来模拟这些非线性关系。

75b946a6e6e346fb8bb180d44685c871.png

创新点 

深度融合策略的优势:发现深度融合策略通常优于单模态和浅层方法,特别是在中间融合策略中,联合表示学习是首选方法,因为它有效地模拟了不同生物组织层次之间的复杂相互作用。

未来研究方向的提出:指出基于先验生物学知识或搜索策略的逐步融合是一个有前景的未来研究方向,同时利用迁移学习可能克服多模态数据集的样本大小限制。

多模态深度学习方法的机遇:随着多模态数据集的日益可用,多模态DL方法提供了训练整体模型的机会,这些模型可以学习健康和疾病背后的复杂调控动态。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值