论文新风向,迁移学习+多模态融合，性能爆炸好

本文链接：https://blog.csdn.net/YunTM/article/details/143437126

2024深度学习发论文&模型涨点之——迁移学习+多模态融合
多模态如今是越来越火了，与之相关的研究方向在各大顶会基本都成了投稿热门！趁着这波风向，我也给想发论文但找不着idea的同学推荐一个创新思路：迁移学习+多模态融合
此外，通过在不同模态之间实现更有效的知识传递和信息融合，可以提高模型在新任务上的准确率。例如，胸部X光模型MultiFusionNet在某些分类任务中取得了高达99.6%的准确率。
迁移学习和多模态学习可以相互补充，实现跨模态知识传递。例如，在一个任务上训练的模型的参数、结构或特征可以直接用于另一个任务，从而实现知识传递。同时，多模态学习可以在不同模态数据上进行学习，并通过某种方法进行融合，实现跨模态知识传递。
小编整理了一些迁移学习+多模态融合论文合集，论文原文+开源代码需要的同学关注“AI科研论文”公号，那边回复“迁移学习+多模态融”获取。

论文1

Cross-Modal Dynamic Transfer Learning for Multimodal Emotion Recognition
用于多模态情感识别的跨模态动态迁移学习

方法

模型比较：提出了一种名为Cross-modal DynAmic Transfer learning (CDaT)的表示学习方法，与现有的多模态情感识别模型进行比较。
数据集使用：在CMU-MOSEI和IEMOCAP数据集上进行实验，这些数据集包含了用于情感识别的语言、面部表情和语音信息。
模型训练：通过辅助网络学习模型置信度分数，以确定哪个模态是低置信度的，以及应该从其他模态转移多少信息。
性能评估：通过准确率和F1分数来评估CDaT在不同最先进的融合模型上的效果。

创新点

跨模态动态迁移学习：首次提出CDaT方法，动态过滤低置信度模态，并使用单模态掩蔽和跨模态表示迁移学习来补充高置信度模态。
模型置信度的估计：引入了一个额外的网络来估计实例级模态置信度，动态调整不相关模态与其他高置信度模态之间的权重。
跨模态知识迁移：提出了一种基于概率知识转移损失的动态跨模态知识迁移方法，可以在不同模态之间进行知识迁移，而不需要额外的参数。

论文2：

Elder emotion classification through multimodal fusion of intermediate layers and cross-modal transfer learning老年人情感分类通过中间层的多模态融合和跨模态迁移学习

方法

模型比较：研究了不同的建模技术，包括传统的神经网络模型和基于卷积神经网络（CNN）和长短期记忆网络（LSTM）的模型。
数据集使用：使用了ElderReact数据库，包含1323个视频剪辑，涉及3到8秒的老年人情感表达。
模型训练：对音频模型应用跨模态迁移学习技术，使用预训练的Inception网络对音频频谱图进行知识迁移。
性能评估：通过准确率和F1分数来评估所提出方法的性能，并与基线结果进行比较。

创新点

多模态情感识别系统：针对老年人群体开发了自动化情感识别系统，整合了音频和视频模态的信息。
跨模态迁移学习的应用：在音频模型中应用了跨模态迁移学习技术，利用预训练的图像识别网络来提高音频情感识别的准确性。
中间层融合技术：通过网格搜索算法选择中间层进行融合，结合了音频和视频模态的特征，提高了情感分类的准确性。

论文3：

Master Thesis- Federated Transfer Learning with Multimodal Data
联邦迁移学习在多模态数据中的应用

方法

模型比较：提出了一个新的联邦迁移学习框架，允许用户数据的混合分布，包括单模态和多模态数据。
数据集使用：选择了包含图像（视觉）和音频（听觉）模态的多模态数据集，目标是场景分类。
模型训练：对于只有单模态数据的用户采用监督学习，而对于具有多模态数据的用户采用自监督学习。
性能评估：在非独立同分布（non-IID）数据设置下，评估了框架的准确性，并与基线模型进行比较。