19篇顶会论文探索多模态情感识别

最新推荐文章于 2025-04-12 13:15:11 发布
最新推荐文章于 2025-04-12 13:15:11 发布
阅读量2k 收藏 5
点赞数 3
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247516563&idx=1&sn=9a64d1561902d17aae346873abc480e1&chksm=eb539500dc241c160b6f8572ab5c15fc585e2b1976610cca97ac354ebc596c4bc7e431cc7686&scene=126&sessionid=0
版权

近年来，随着AI在日常交互场景中的普及，自然交互场景下的情感识别的需求也在不断提升，如车内驾驶人情绪识别、家用机器人情绪监控、人机情感交互等。

通常，人的情绪的变化对时序信息具备高度依赖性和瞬时性，以及情感表达特征个人差异性等因素，使得自然交互场景下的可用情感识别难度较高。

a836b9e8ddb01fd99948b5a03f3c1358.png

所以，使用多模态信息来进行高精度预测是一个较为有效的方法。

我从近些年顶会论文中搜罗了19篇必读的多模态情感识别的论文！

想要的同学，扫码二维码，回复【多模态】

即可获得全部论文合集，全是pdf格式，非常方便！

7c86dacc93abb3a15bad03b6c983a850.gif

240d36a6e0f4e0b01fa6a2a88d76cbf2.png

268c6d744301150048a2b70944b33db9.png

想要的同学，扫码二维码，回复【多模态】

即可获得全部论文合集，全是pdf格式，非常方便！

355fb3007da6090f36e6261e585fd8c7.gif

2abd5c2d2705d064041f7c8e212a1ebb.png

zenRRan
关注
多模态大模型：技术原理与实战 多模态大模型在情绪识别领域的应用
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
01-15 1233
多模态大模型：技术原理与实战 多模态大模型在情绪识别领域的应用 1. 背景介绍 1.1 问题由来 近年来，深度学习技术在图像、语音、文本等多个模态的语音识别、视觉识别、自然语言处理等领域取得了重大突破。其中，多模态大
多模态情感分析论文解读——CTFN模型
qq_44609058的博客
04-20 8368
论文：CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Network 论文链接：其中couple learning能够并行的进行双向跨模态的相互关联，本文通过(text,video)、(audio,text)、(audio,video)3个CTFN模块结合使用以弥补模态缺失。 论文、动机及相关工作介绍 该论文发布在ACL-2021，由浙江省脑机协...
论文研究-基于深度模态融合网络的多模态情感识别 .pdf
08-14
基于深度模态融合网络的多模态情感识别，陈坤，夏海轮，情感识别在情感计算领域是一个具有挑战性的课题，因为从音视频多模态数据中提取出具有判别性的特征来识别人类情感中的细微差距仍
19篇顶会论文探索多模态情感识别前沿进展
Kaiyuan_sjtu的博客
01-16 2106
近年来，随着AI在日常交互场景中的普及，自然交互场景下的情感识别的需求也在不断提升，如车内驾驶人情绪识别、家用机器人情绪监控、人机情感交互等。通常，人的情绪的变化对时序信息具备高度依赖性和瞬时性，以及情感表达特征个人差异性等因素，使得自然交互场景下的可用情感识别难度较高。所以，使用多模态信息来进行高精度预测是一个较为有效的方法。我从近些年顶会论文中搜罗了19篇必读的多模态情感识别的论文！想要的同学...
多模态融合新思路！36篇最新顶会论文汇总（含ICLR2024原文和代码）_多模态融合论文
lyy2017175913的博客
04-12 1075
ICLR2024引领的最新潮流，这些研究方法涵盖了多模态学习中不同方向的内容，并探索了传统与新型框架相结合的领域。为了让大家能够一览最前沿创新思路，获得灵感启发，今天给大家分享**「36篇必读顶会的原文和源码」**。其中包含ICLR2024最新多模态融合的方法，比如采用渐进融合策略或者正交顺序融合方法。同时，还包含传统经典融合方法，包括同一特征空间融合、分别编码后再融合以及图像编码前的信息整合等策略。这些方法有望在多模态信息处理领域取得更好性能表现。
多模态情感识别应用论文阅读笔记
qq_52679708的博客
02-27 1542
多模态情感识别阅读笔记
多模态 |COGMEN: COntextualized GNN based Multimodal Emotion recognitioN论文详解
weixin_44649780的博客
04-03 2435
情绪是人类行动的一个固有部分，因此，开发能够理解和识别人类情绪的人工智能系统势在必行。在涉及不同人的对话中，一个人的情绪会受到其他说话者的言语和他们自己在言语中的情绪状态的影响。在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文）。建议的模型使用基于图谱神经网络 （GNN) 的架构来模拟对话中的复杂关系（本地和全局信息）。
论文篇 | 2010-2023，万字情绪识别（EmotionRecognition）论文总结【20231016更新】
weixin_44649780的博客
04-05 7917
情绪识别目前我所了解的有，基于人脸的情绪识别，基于声音的情绪识别，基于身体特征的情绪识别，基于脑电波的情绪识别，基于时空的情绪识别等。 这篇博客主要是人脸表情/情绪识别（Face expression recognition/Face emotion recognition）/一般人脸情绪识别我自己把它分为image FER和 tensor FER 。有的虽然是实时检测人脸识别，因为输入是图片（image），如果输入的是视频为基础，或者带时间维度参数则属于动态人脸情绪识别。（仅表达自己分类标准，有问题可以
多模态情感分析，毕业论文 or 小论文速成！！！
学姐带你玩AI的博客
01-03 998
想快速搞定小论文or毕业论文？不妨考虑在社交媒体和数字内容快速发展的当下，它可以说是一项非常重要的研究主题，有很多高区idea可以挖掘。一方面，传统的情感分析方法是基于文本数据的，文本信息懂得都懂，表达方式有限，没办法完全捕捉到情感的细微变化...所以在很多应用领域（比如教育、医疗健康、金融等），多模态情感分析是更佳选择。另一方面，多模态情感分析方便我们在技术、跨领域融合等方面做更多创新，比如语音情感识别方向，我们可以考虑基于图结构/生成式的多模态信息多层级交互的情感识别（可发1区）。
从多篇2021年顶会论文看多模态预训练模型最新研究进展
Paper weekly
10-21 1801
©PaperWeekly 原创 ·作者 | 小马单位 | FightingCV公众号运营者研究方向 | 计算机视觉背景1.1.什么是预训练目前随着数据量爆炸式的增长，靠人工去标注更多数据...
【论文精读】| KBS2023-TMBL-多模态情感分析系列文章解读
JackCrum的博客
05-13 7446
多模态情感分析是人机交互研究的重要方向，它可以通过同时分析文本、视频和声音特征来准确识别个体的情绪状态。尽管当前的情绪识别算法使用多模态融合策略表现良好，但仍然存在两个关键挑战。第一个挑战是在融合之前有效提取模态不变和模态特定的特征，这需要不同模态之间的深层特征交互。第二个挑战涉及区分模态特征之间的高级语义关系的能力。为了解决这些问题，我们提出了一种新的模态绑定学习框架，并重新设计了 Transformer 模型的内部结构。我们提出的模态绑定学习模型通过结合双模态和三模态绑定机制解决了第一个挑战。
跨模态检索2023年最新顶会论文汇总
zag666的博客
06-22 4416
我们的实验验证了我们的检索增强对比性（RECO）训练在几个具有挑战性的细粒度任务上大幅提高了CLIP的性能：例如，在斯坦福Cars上+10.9，在CUB-2011上+10.2，在最近的OVEN基准上+7.3。在本文中，我们提出了一种新的图像文本检索技术，被称为鲁棒的视觉语义嵌入（RVSE），它由新的基于图像和文本的增强技术组成，称为图像语义保护增强（SPAugI）和文本增强（SPAugT）。在全局和局部跨模态混合相似性的基础上，所提出的方法实现了最先进的检索性能，与最近的代表性方法相比，推理时间极短。
多模态融合新方向！21篇2024年最新顶会论文汇总！（附PDF）
2401_82426425的博客
01-30 8823
为应对这一问题，研究人员提出了一种新算法，旨在减少多模态数据集中的表征和关联偏见，分析考虑了模型、表征和训练数据大小等因素，并发现微调对抗表征偏见有效，但对关联偏见影响有限。本文提出了一种创新的标签对齐方法LAMM，通过端到端训练动态调整下游数据集的类别嵌入，并采用分层损失，包括参数空间、特征空间和对数空间的对齐，以改善标签分布。本文提出了一种集成视觉语言模型CLIP的多任务学习框架，该模型具有强大的零样本泛化能力，并开发了多模态对齐提示（MmAP），研究人员在微调过程中对齐文本和视觉模态。
多模态情感分析论文整理（2021-2023）
Musennn的博客
05-14 1785
MABSA下游任务论文整理一.MASC任务（一）基于注意力模型的相关论文（二） 基于图卷积网络(GCN)的相关论文二.ASPE任务（一）PIPELINE-BASED ASPE METHOD（二）JOINT-BASED ASPE METHOD（三）UNIFIED-BASED ASPE METHOD（四） TEXT GENERATION-BASED ASPE METHOD 一.MASC任务 （一）基于注意力模型的相关论文 ‘‘Show, attend and tell: Neural image captio
多模态情感分析研究综述 论文笔记
SG_teresa's blog
06-03 6806
论文标题： 《多模态情感分析研究综述》 引言： 多模态情感分析现已成为自然语言处理领域的核心研究课题之一，分为两类子课题： 1、叙述式多模态情感分析 2、交互式多模态情感分析 论文学术结构（顺序）： 1、从情感分析这个大方面出发，结合现代社会人们利用多媒体的趋向性（趋向多种媒体形式），引出两个多模态情感分析的子课题，由此展开叙述。 2、介绍叙述式多模态情感分析。 1）提出3种多模态融合方法：特征级融合、决策级融合、包含两者的混合融合。 a.特征级融合：每种模态的特征向量通过特征融合单元融合为一个多模态特征
【论文速递】 MM2022 - : 基于特征分解的多模态情绪识别方法
qq_41974375的博客
02-15 2011
【论文速递】 MM2022 - : 基于特征分解的多模态情绪识别方法
多模态融合引爆顶会！CVPR、AAAI、ACL、NeurIPS…统统拿下！
m0_59235945的博客
11-04 1431
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。：设计了一个包含两个子网络的模型，C-net用于学习多个类别共享的公共特征，P-net用于学习输入句子或文档的特征向量，并通过正交投影得到更纯净的特征表示。：在多个公开的多视图序列数据集上进行了广泛的实验，MFN在所有数据集上均超越了现有的最先进模型，为多视图学习方法树立了新的性能标准。
最新最全论文合集——多模态情感分析
AI_Conf的博客
03-02 2711
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
多模态情绪识别的顶刊顶会
最新发布
04-22
<think>好的，我现在需要回答用户关于多模态情绪识别领域的顶级期刊和会议的问题。首先，我需要回顾一下用户提供的引用内容，看看有没有相关的信息。用户给出的引用1到4主要涉及多模态情绪分析的研究方向、挑战、技术方法以及相关应用，比如EEG情绪识别、交互式多模态情感分析等。不过这些引用中并没有直接提到具体的期刊或会议名称。 接下来，我应该根据自己已有的知识来整理这个领域的顶级期刊和会议。多模态情绪识别属于交叉学科，涉及人工智能、模式识别、情感计算、计算机视觉、自然语言处理等领域。因此，需要从这些相关领域中寻找权威的期刊和会议。 顶级期刊方面，IEEE Transactions系列通常涵盖多个技术领域，比如IEEE Transactions on Affective Computing（TAFFC）应该是一个重要的期刊，因为引用1提到了TAFFC，这可能是用户提到的刘永进教授课题组发表的期刊。此外，其他相关期刊可能包括Pattern Recognition、IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）、ACM Transactions on Multimedia Computing（TOMM）、Neural Networks等。 顶级会议方面，国际知名的AI和计算机视觉会议如CVPR、ICCV、ECCV、AAAI、IJCAI、ACL、EMNLP等通常会收录多模态相关的论文。此外，专门针对情感计算或多媒体交互的会议如ACII（International Conference on Affective Computing and Intelligent Interaction）和ICMI（International Conference on Multimodal Interaction）也是重要的会议。引用2中提到交互式多模态情感分析，可能ICMI会更相关。 需要验证这些信息是否正确，比如确认TAFFC是否确实是顶级期刊，以及这些会议是否接受多模态情绪识别的论文。同时，用户可能希望了解这些期刊和会议的排名或影响力，比如CCF推荐列表中的评级。 另外，用户提到的问题生成部分需要生成相关问题，可能需要围绕如何选择期刊会议、论文发表趋势、研究热点等来提问。 最后，要确保回答结构清晰，分点列出期刊和会议，并附上简要说明，同时生成的相关问题要具有实际意义，能够引导用户进一步探索。</think>### 多模态情绪识别领域的顶级期刊和会议 #### 一、顶级期刊 1. **IEEE Transactions on Affective Computing (TAFFC)** - **领域**：情感计算、多模态情绪分析的权威期刊，涵盖情绪识别模型、生理信号处理、多模态融合等方向[^1]。 - **特点**：注重理论与实际应用的结合，接受基于深度学习和传统方法的创新研究。 2. **Pattern Recognition** - **领域**：模式识别与机器学习，包含多模态数据特征提取、分类算法等关键技术[^4]。 - **特点**：接受跨学科研究，如EEG信号与视觉/语音的融合分析[^3]。 3. **IEEE Transactions on Multimedia (TMM)** - **领域**：多媒体信号处理，关注多模态（文本、语音、图像）的协同分析与情绪建模。 - **应用**：适用于交互式会话情感演化分析等复杂场景[^2]。 4. **Neural Networks** - **领域**：深度学习与神经网络，研究多模态情绪识别的端到端模型优化及跨被试迁移学习[^3]。 5. **ACM Transactions on Intelligent Systems and Technology (TIST)** - **领域**：智能系统与多模态交互，覆盖情绪识别的实时应用及算法部署。 --- #### 二、顶级会议 1. **International Conference on Multimodal Interaction (ICMI)** - **领域**：多模态交互的核心会议，聚焦会话情感分析、跨模态注意力机制等[^2]。 - **亮点**：强调实际交互场景中的动态情感建模。 2. **Conference on Computer Vision and Pattern Recognition (CVPR)** - **领域**：计算机视觉与多模态融合，如面部表情识别、肢体语言分析等。 - **趋势**：结合Transformer等模型提升跨模态对齐能力。 3. **Association for Computational Linguistics (ACL)** - **领域**：自然语言处理与多模态情感分析，研究文本-语音-视觉的联合建模。 - **应用**：适用于社交媒体情绪挖掘、对话系统等。 4. **International Conference on Affective Computing and Intelligent Interaction (ACII)** - **领域**：情感计算专精会议，涵盖生理信号（如EEG）与多模态数据的情绪分布学习[^1][^3]。 5. **AAAI Conference on Artificial Intelligence (AAAI)** - **领域**：通用AI技术，收录多模态情绪识别的创新算法（如迁移学习、小样本学习）。 --- #### 三、研究热点与投稿建议 - **热点方向**： 1. 跨被试/跨场景的迁移学习（解决个体EEG信号差异问题）。 2. 交互式会话中的动态情感演化建模[^2]。 3. 多模态情绪分布的细粒度标注与混合情绪识别[^1]。 - **投稿建议**： - 理论创新（如新型融合网络）可投**TAFFC**或**Neural Networks**； - 应用型研究（如医疗、教育场景）适合**ICMI**或**ACII**。 ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值