- 博客(217)
- 收藏
- 关注
RSS订阅原创 【SDRS】面向多模态情感分析的情感感知解纠缠表征转移
我们设计了四个transformerstyle编码器的极性特定的和非极性的语义信息的两个非言语模态A和V，分别。在特征提取之后，我们可以获得原始非语言特征Xm（m ∈ {A，V}）和文本特征T。这些特征被馈送到编码器中以获得相应的独立语义表示Ip m：其中，Xm是要解离的原始特征，Ym是另一个非语言特征，是粗粒度极性编码器，是粗粒度非极性语义编码器。我们进一步设计了细粒度的情感和非情感语义编码器和解码器。与极性编码器相比，情感编码器的底层具有使用Spm的三个以上的CA层。
2025-05-06 22:25:03
667
原创 【TF-BERT】基于张量的融合BERT多模态情感分析
（背景与问题）由于单模态情感识别在复杂的现实应用中的局限性，多模态情感分析（MSA）得到了极大的关注。传统方法通常集中于使用Transformer进行融合。然而，这些传统的方法往往达不到，因为Transformer只能同时处理两种模态，导致信息交换不足和情感数据的潜在丢失。（方法提出）针对传统跨模态Transformer模型一次只能处理两种模态的局限性，提出了一种基于张量的融合BERT模型（TF-BERT）。
2025-05-04 18:25:05
844
原创 【DecAlign】用于解耦多模态表征学习的分层跨模态对齐
（问题引入1~2句）多模态表征学习的目标是在多种模态中获取共享的和互补的语义信息。然而，不同模式的内在异质性对实现有效的跨模式协作和整合提出了重大挑战.（方法提出3~4句）为了解决这一问题，我们引入了DecAlign，一个新颖的层次化跨模态比对框架，旨在将多模态表示解耦为模态唯一（异构）和模态共有（同构）特征。为了处理异质性，我们采用了一种原型引导的最佳交通路线策略，该策略利用高斯混合模型和多边际交通计划，从而在保持交通方式独特性的同时减轻了分布差异。
2025-05-02 10:59:03
814
原创 【DeepMLF】具有可学习标记的多模态语言模型，用于情感分析中的深度融合
基于Transformer架构论文[26]，我们简要概述了其架构，特别是本文中使用的预规范仅编码器和仅解码器[58]设计。我们的演示保持了一个抽象级别，以便它可以封装Transformer变体，特别是注意力机制[59]，规范化和前馈组件[60]中的不同风格。典型的编码器层设计由一个多头自注意（SA）模块和一个前馈（FFW）模块组成[26]。
2025-05-01 09:58:02
771
原创 conformer编码器
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将联合收割机卷积神经网络和transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖性进行建模，从而实现两全其美。在这方面，我们提出了。Conformer显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。
2025-04-25 19:35:53
644
原创 【DE-III】基于细节增强的模态内和模态间交互的视听情感识别
在视听情感识别（AVER）中，捕捉视频和音频模态之间复杂的时间关系是至关重要的。为此，本文提出了一种用于AVER的细节增强的模态内和模态间交互网络（DE-III）。融合模块将光流估计与对应的视频帧相结合以增强面部纹理变化的表示。在3个基准数据集上的实验结果表明，无论是在具体情感识别还是连续情感识别方面，本文提出的模型都优于所有现有的情感识别方法。为鼓励进一步研究并确保可复制性，我们将在接受后发布完整代码。
2025-04-25 18:57:19
549
原创 【T-MRMSM】文本引导多层次交互多尺度空间记忆融合多模态情感分析
（背景）近年来，随着多模态数据量的迅速增加，多模态情感分析（MSA）越来越受到关注.该方法通过整合不同数据模态间的信息，提高了情感极性提取的准确性，从而实现了信息的全面融合，提高了情感分析的精度。（针对创新处的不足）然而，现有的深度模型往往忽略了空间和全局记忆信息对情感分析的辅助作用。此外，对语篇模态的强调往往会阻碍视觉和听觉模态信息的表达。（整个框架的创新）为解决该问题，提出了一种基于文本引导的多层次表示集成和多尺度空间-记忆信息融合模型T-MRMSM。
2025-04-25 14:05:30
1262
原创 【UFEN】基于多层特征融合和多任务学习的多模态情感分析
主要挑战包括：1、模型如何在单一模态中提取情感信息，并实现多模态信息的互补传输；2、在单一模态中体现的情绪与多模态标签不一致的情况下，如何输出相对稳定的预测；3、当单模态信息不完整或特征提取性能不佳时，该模型如何确保高精度。
2025-01-21 21:59:08
1716
原创 【MAMSA】基于多注意力的多模态情感分析
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
2025-01-20 23:37:49
2358
2
原创 【协程库】协程调度
协程调度是指管理和控制多个协程在程序中的执行顺序和时机的过程。协程是一种轻量级的、用户态的线程，允许在单个线程内实现并发执行。在前面的协程模块中，对于每个协程，都需要用户手动调用协程的resume方法将协程运行起来，然后等协程运行结束并返回，再运行下⼀个协程。这种运行协程的方式其实是用户自己在挑选协程执行，相当于用户在充当调度器，显然不够灵活。引入协程调度后，则可以先创建⼀个协程调度器，然后把这些要调度的协程传递给调度器，由调度器负责把这些协程⼀个⼀个消耗掉。
2024-12-04 21:27:46
1181
原创 基于变换融合和情感层次表征学习的多标签多模态情感识别
三区，2023年，魔改transformer，最大的创新在于连分类头都用了transformer(?)
2024-12-03 18:04:59
1459
原创 【LMR-CBT】基于CB-Transformer的学习模态融合表征在非对齐多模态序列中的情感识别
0.41MB，轻量化，半个transform
2024-12-02 18:24:41
1001
原创 C++实现Raft算法之辅助函数
快照的作用是将一段时间内的所有日志合并为一个单一的状态快照，这样即使日志非常庞大，我们也能通过加载快照来恢复系统状态，避免从日志中逐条重放每一个历史操作。假设一个场景：一个节点在某个任期内投票给了候选人A，然后节点崩溃并重启，如果没有持久化m_votedFor，节点在重启后不知道它已经投过票了，它可能会再次投票给候选人B，这一过程导致出现重复投票，违反了Raft协议的规则。假设你有一个系统，系统执行了多个操作，比如读和写，这些操作是由多个客户端发起的，执行的顺序可能是乱序的，或者说存在并发的情况。
2024-11-28 08:55:18
725
原创 C++共享智能指针
C++中没有垃圾回收机制，必须自己释放分配的内存，否则就会造成内存泄漏。解决这个问题最有效的方式是使用智能指针。智能指针是存储指向动态分配(堆)对象指针的类，用于生存期的控制，能够确保在离开指针所在作用域时，自动销毁动态分配的对象，防止内存泄漏。C++提供了三种智能指针，使用前需要引用头文件<memory>：std::shared_ptr：共享的智能指针std::shared_ptr：独占的智能指针。
2024-11-23 17:23:30
1064
原创 【MySQL基础刷题】总结题型（三）
我们可以先找到所有的产品，再找到所有 2019-08-16 前有修改的产品和他们最新的价格，使用 left join 将两个查询联合。如果产品没有价格，说明没有修改过，设置为 10，如果有价格，设置为最新的价格。请注意，当员工只加入一个部门的时候，那这个部门将默认为他的直属部门，虽然表记录的值为’N’.编写一个解决方案，找出在 2019-08-16 时全部产品的价格，假设所有产品在修改前的价格都是 10。本题的关键点在找到 2019-08-16 前所有有改动的产品及其最新价格和没有没有修改过价格的产品。
2024-11-14 21:01:48
633
原创 算法闭关修炼百题计划（八）
也可以通过左移变为“zab”等。因此，“abc”、“bcd”、“xyz”等字符串具有相同的“移位序列”。以window[c]>1为缩小窗口的条件，而不是长度大于k为缩小窗口的条件，因为如果以无重复为条件的话，当长度为k的时候，无重复的字符也自然为k，这样逻辑清晰简洁。输入：strings = [“abc”,“bcd”,“acef”,“xyz”,“az”,“ba”,“a”,“z”]输出：[[“acef”],[“a”,“z”],[“abc”,“bcd”,“xyz”],[“az”,“ba”]]
2024-11-14 15:41:35
942
原创 【MMIN】缺失模态想象网络用于不确定缺失模态的情绪识别
在以往的研究中，多模态融合已被证明可以提高情绪识别的性能。然而，在实际应用中，我们经常会遇到模态丢失的问题，而哪些模态会丢失是不确定的。这使得固定多模态融合在这种情况下失效。在这项工作中，我们提出了一个统一的模型，缺失情态想象网络（MMIN），以处理不确定的缺失情态问题。MMIN学习鲁棒联合多模态表示，在给定可用模态的情况下，可以预测任意缺失模态在不同缺失模态条件下的表示。在两个基准数据集上的综合实验表明，统一的MMIN模型在不确定缺失模态测试条件和全模态理想测试条件下都显著提高了情绪识别性能。
2024-11-14 14:20:04
1561
1
原创 算法闭关修炼百题计划（七）
在这个问题中，深拷贝的知识点是指创建一个完全独立的复制链表，其中每个节点都是原链表中节点的独立副本。具体来说，原链表中的每个节点不仅要复制他的值和next指针，还要复制他的random指针（指向链表中的任意节点或空指针）。这个方法的核心是将链表的节点复制一份并插入到原链表中，然后调整随机指针，最后将原链表和复制的链表分离。findMedian()如果两个堆的大小相等，返回两个堆顶元素的平均值，如果堆的大小不等，直接返回大根堆的堆顶元素，因为它代表了数据流的中位数。中位数是有序整数列表中的中间值。
2024-11-13 20:06:10
937
原创 【TMT】多模态情感识别的符号解纠缠互变
多模态情感识别是一项复杂的挑战，因为它涉及到使用各种模式（如视频、文本和音频）识别人类情感。现有方法主要关注多模态数据的融合信息，但忽略了对情绪有不同贡献的模态特定异质性特征的相互作用，导致结果不理想。为了解决这一挑战，我们提出了一种新的Token-disentangling Mutual Transformer (TMT)，通过有效地分离和交互模态间的情感一致性特征和模态内的情感异质性特征，用于鲁棒的多模态情感识别。具体来说，TMT包括两个主要模块：多模态情感Token解纠缠和Token相互转换。
2024-11-11 11:34:18
1067
原创 【DCCMCI】多模态情感分析的层次去噪、表征解纠缠和双通道跨模态-上下文交互
在处理模态表征中的噪声特征、消除模态表征之间情感信息的实质性差距以及探索表达模态之间不同情感的上下文信息方面仍然存在挑战。为了应对这些挑战，本文提出了一个新的多模态情感分析（MSA）框架。确保了公共和私人情感信息的提取，同时消除了模态表示的干扰噪声解决情感信息在模态之间分布不均的问题通过从文本表示中提取与非文本表示相关的情感信息来增强非文本表示。
2024-11-09 22:42:51
1521
原创 【RMA】基于知识注入和模糊学习的多模态歧义分析
多模态情感分析（MSA）利用互补的多模态特征来预测情感极性，主要涉及语言、视觉和音频三种模态。现有的多模态融合方法主要考虑不同模态的互补性，而忽略了模态之间的冲突所导致的歧义（即文本模态预测积极情绪，视觉模态预测消极情绪）。为了减少这些冲突，我们开发了一种新的多模态歧义学习框架，即RMA，通过知识注入解决多模态歧义和用于多模态情感分析的歧义学习。具体来说，我们引入和过滤外部知识来增强跨模态情感极性预测的一致性。
2024-11-09 01:41:03
1177
原创 【MRAN】情感分析中情态缺失问题的多模态重构和对齐网络
为此，我们提出了多模态重构和对齐网络（MRAN）来解决情态缺失问题，特别是缓解由于文本情态缺失而导致的衰退。我们首先提出了多模态嵌入和缺失索引嵌入来指导缺失模态特征的重建。然后，将视觉和听觉特征投射到文本特征空间中，三种模态的特征都被学习到与其对应情感类别的词嵌入接近，使视觉和听觉特征与文本特征对齐。在这种以文本为中心的方式下，视觉和听觉形式受益于更具信息性的文本形式。从而提高了网络在不同情态缺失情况下的鲁棒性，特别是在文本情态缺失的情况下。
2024-11-08 15:15:50
1861
原创 【MM-Align】学习基于输运的最优对齐动力学，快速准确地推断缺失模态序列
现有的多模态任务主要针对完整的输入模态设置，即每个模态在训练集和测试集中要么是完整的，要么是完全缺失的。然而，随机缺失的情况仍然没有得到充分的研究。在本文中，我们提出了一种新的方法MM-Align来解决模态缺失推理问题。具体而言，我们提出了1)基于最优传输（OT）理论的对准动力学学习模块，用于间接缺失数据的输入；2)一种去噪训练算法，可同时增强插值结果和骨干网性能。与以往专注于缺失输入重建的方法相比，MM-Align学习捕捉和模仿模态序列之间的对齐动态。
2024-11-08 11:17:42
830
原创 【MissModal】提高多模态情感分析对缺失情态的鲁棒性
为了提高测试中对缺失模态的鲁棒性，我们提出了一种名为MissModal的新型多模态表示学习方法，其架构如图2所示。为了获得特定于模态的表示，我们同时，对于声学和视觉模态，我们使用两个双向lstm （Hochreiter和Schmidhuber， 1997）捕获时间特征，使用两个3层单峰变压器（Vaswani et al ., 2017）进一步编码全局自注意信息。对于U∈{A， V}，声视编码器表示为：特别地，我们取的[CLS]令牌和。
2024-11-07 21:31:09
1375
原创 【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
多模态情感分析是一个具有挑战性的研究领域，涉及多个异构模态的融合。主要的挑战是在多模式融合过程中出现一些缺失的模式。然而，现有的技术需要所有的模态作为输入，因此在预测时间对缺失的模态很敏感。在这项工作中，首次提出了耦合翻译融合网络（CTFN），通过耦合学习来建模双向相互作用，确保了对缺失模态的鲁棒性。具体来说，为了提高翻译性能，提出了循环一致性约束，允许我们直接丢弃译码器，只包含Transformer的编码器。这可能有助于一个更轻的模型。由于耦合学习，CTFN能够并行进行双向交叉模态相关。
2024-11-07 17:58:39
1796
原创 【CIF-MMIN】基于对比学习的缺失模态多模态情感识别模态不变特征获取
多模态情感识别（MER）旨在通过探索跨模态的互补信息来理解人类表达情感的方式。然而，很难保证全模态数据在真实场景中总是可用的。为了处理缺失模态，研究人员着重研究了跨模态缺失模态想象过程中有意义的联合多模态表征学习。然而，由于“模态差距”问题，跨模态想象机制极易产生误差，从而影响想象的准确性，从而影响最终的识别性能。为此，我们将模态不变特征的概念引入到缺失模态想象网络中1)基于对比学习的新型模态不变特征提取模块；2)基于想象不变量特征的鲁棒想象模块，在缺失条件下重构缺失信息。
2024-11-07 10:15:11
1411
原创 【CMCL】多模态情感识别的跨模态对比学习
近年来，多模态情感识别因其能够通过整合多模态信息来提高情感识别的准确性而受到越来越多的关注。然而，模态差异导致的异质性问题对多模态情感识别提出了重大挑战。在本文中，我们提出了一个新的框架——跨模态对比学习（CMCL），它具体而言，我们利用实验结果表明，我们的方法在三个基准数据集上达到了最先进的性能，并且优于现有的基线模型。我们的工作证明了跨模态对比学习和数据增强在多模态情感识别中的有效性，并为该领域的未来研究提供了有价值的见解。
2024-11-06 20:59:58
1772
原创 【EMMR】不确定缺失模态下多模态情感分析的不一致性缓解
针对多模态情感分析中的情态缺失问题，当情态缺失导致情感发生变化时，会出现不一致现象。决定整体语义的缺失情态可以被认为是关键的缺失情态。然而，以前的研究都忽略了不一致现象，简单地丢弃缺失的模态，或者仅仅从可用的模态中生成相关的特征。忽略关键的缺失情态格可能导致错误的语义结果。为了解决这个问题，我们提出了一个基于集成的缺失模态重构（EMMR）网络来检测和恢复关键缺失模态的语义特征。具体来说，我们首先通过主干编码器-解码器网络学习剩余模态的联合表示。然后，
2024-11-06 13:26:14
1649
2
原创 【IF-MMIN】利用模态不变性特征进行缺失模态的鲁棒多模态情感识别
多模态情感识别利用跨模态的互补信息来获得性能。然而，我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中，异质性模态之间的固有差异即模态差距是一个挑战。为了解决这个问题，我们提出在缺失模态想象网络（IF-MMIN）中使用不变特征，该网络包括两个新的机制：1)全模态场景下基于中心矩差异（CMD）距离的不变特征学习策略；2)利用基于不变特征的想象模块（IF-IM）来缓解缺失模态预测过程中的模态差距，从而提高多模态联合表示的鲁棒性。
2024-11-05 16:03:13
1674
原创 【MMAN-M2】基于缺失模态编码器的多多头关注网络
多模态融合是多模态学习领域的研究热点。以往的多模态融合任务大多是基于完整模态的。现有的缺失多模态融合研究没有考虑模态的随机缺失，缺乏鲁棒性。大多数方法都是基于缺失模态和非缺失模态之间的相关性，而忽略了缺失模态的语境信息。考虑到以上两个问题，我们设计了一个基于缺失模态编码器的多多头关注网络（mmman - m2）。首先，利用多头注意力网络对整个序列进行潜在特征提取，表示单个模态，然后进行融合；然后，通过优化缺失和非缺失特征数据的多模态融合结果提取缺失模态上下文特征，并通过编码模块对缺失模态进行编码；最后，利用
2024-11-05 10:53:56
1033
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人