- 博客(234)
- 收藏
- 关注
RSS订阅原创 【优先级高，先补充】基于文本增强跨模态特征交互注意网络的多模态情感分析
然而，在融合过程中，这些方法只进行了简单的模态映射，而没有考虑文本情感的深度隐含性和噪声信息对模型鲁棒性的影响。然而，这些方法忽略了语篇情态中隐含的情感表达，这种深层隐含会误导特征的学习和融合。考虑到噪声或冗余信息对模型鲁棒性的影响，设计了以文本为中心的双跨模态深度融合机制，以减弱视觉、听觉和跨模态交互带来的噪声，获得有效的多模态情感特征。考虑到文本情态在特征学习过程中的重要指导作用，我们设计了一种基于文本的多头交互注意机制来学习与文本相关的听觉和视觉特征，并增强内隐文本与视觉/听觉特征之间的语义相关性。
2025-07-28 22:12:28
635
原创 幂等性测试方案为什么要用前端点击去实现而不从后端接口设计uuid？
优先用前端模拟多次点击/网络重试等操作，验证整体链路的幂等保障，并及时发现前端防抖和后端接口设计之间的协同问题。在测试发现问题后，会推动后端进一步引入如uuid、version等机制，实现接口层的严格幂等。如果只用接口层直接请求uuid，无法验证前端到后端之间“幂等性责任划分”是否清晰，漏掉UI/网络层异常的场景。理论上，后端用uuid、version等机制可以实现接口幂等性，但有些老接口、第三方接口。，测试团队往往需要先基于现有实现做保障，发现风险后再推动后端做深层次优化。幂等性问题很多时候是因为。
2025-06-18 20:49:06
272
原创 为什么要依赖线上监控，而不做前置拦截？
这个问题在自动化和预发环境很难100%还原，但通过线上监控和埋点分析，很快发现失败主要集中在某几个安卓厂商的特定机型和系统版本。最终推动产品和开发，采用弹窗引导用户手动恢复蓝牙权限，同时修复了相关兼容逻辑。这样可以发现主流程中的大部分回归Bug，比如接口变更导致的蓝牙失效、App权限适配问题等。这些场景用例很多，但每一条自动化都要占资源，且难以真实复现全部实际用户环境。比如，我们曾经就遇到过。
2025-06-18 20:40:49
357
原创 多模态大模型如何在token窗口有限的情况下理解图片？
LC如何实现在8000tokens的预算下理解2张40wtokens的图片？并输出差异？LC如何实现在8000tokens的预算下理解2张40wtokens的图片？并输出差异？
2025-06-18 10:22:32
295
原创 【TMFN】一种基于文本的多模态融合网络，具有多尺度特征提取和无监督对比学习，用于多模态情感分析
多模态情感分析在人机交互中起着至关重要的作用。目前的方法使用简单的子模型进行特征提取，忽略了多尺度特征和情绪的复杂性。文本、视觉和音频在MSA中各有其独特的特征，文本由于其丰富的语义通常提供更多的情感线索。然而，目前的方法平等对待模式，而不是最大化文本的优势。为了解决这些问题，我们提出了一种基于文本的多模态融合网络的多尺度特征提取和无监督对比学习（TMFN）方法。首先，我们提出了一种创新的金字塔结构多尺度特征提取方法，通过不同大小的卷积核捕获模态数据的多尺度特征，并通过通道关注机制增强关键特征。
2025-05-13 21:48:12
803
原创 【DLF】基于语言的多模态情感分析
多模态情感分析（MSA）利用语言、视觉和音频等异构模式来增强对人类情感的理解。虽然现有模型通常侧重于跨模态提取共享信息或直接融合异构模态，但由于对所有模态的平等处理以及模态对之间信息的相互传递，这些方法可能会引入冗余和冲突。为了解决这些问题，我们提出了一个非纠缠语言（disentangded - language - focused， DLF）多模态表示学习框架，该框架结合了一个特征解纠缠模块来分离模态共享和模态特定的信息。为了进一步减少冗余和增强语言目标特征，引入了四种几何度量来改进解纠缠过程。
2025-05-10 20:46:43
1065
原创 【UEFN】用于可靠多模态情感分析的高效不确定性估计融合网络
类型数据不确定性模型不确定性来源数据本身的噪声或模糊性（如模糊图像）模型训练不足、数据分布差异（如训练数据与测试数据不匹配）别名任意不确定性认知不确定性是否可减少不可消除（数据固有属性）可通过优化模型或增加数据缓解例子图像模糊导致识别困难训练数据不足，模型未见过某些场景不确定性估计的常用方法方法原理优缺点蒙特卡罗 Dropout。
2025-05-09 16:52:44
896
原创 基于互信息分解表示学习的多模态情感分析
多模态情感分析试图利用各种类型的信号来识别潜在的情感和情感。该领域的一个关键挑战在于多模态表征学习，其目的是开发有效的方法将多模态特征整合到内聚表征中。最新的研究成果包括两个方面：一个是将多模态特征分解为模态不变性和模态特异性特征，另一个是利用互信息来增强模态融合。这两项战略都显示出有效性，并取得了显著的成果。为此，本文提出了一种新的学习框架，该框架结合了这两种学习方法的优点，称为基于互信息的解纠缠多模态表示学习。我们的方法包括在特征提取和融合阶段估计不同类型的信息。具体地说，我们。
2025-05-08 20:52:06
1034
原创 【AtCAF】多模态情感分析中基于注意的因果意识融合网络
多模态情绪分析（MSA）涉及使用各种感官数据模态来解释情绪。传统的多模态分析模型往往忽略了模态之间的因果关系，导致虚假的相关性和无效的跨模态注意。为了解决这些限制，我们从因果关系的角度提出了基于注意的因果意识融合（AtCAF）网络。为了捕获文本的因果关系感知表示，我们引入了利用前门调整的因果关系感知文本去偏模块（CATDM）。此外，我们使用反事实跨模态注意（CCoAt）模块在模态融合中整合因果信息，从而通过纳入更多因果意识线索来提高聚合质量。
2025-05-08 00:33:02
926
原创 【MVCP】基于解纠缠表示学习和跨模态-上下文关联挖掘的多模态情感分析
多模态情感分析旨在从多模态数据中提取用户表达的情感信息，包括语言、声学和视觉线索。然而，多模态数据的异质性导致了模态分布的差异，从而影响了模型有效整合多模态互补性和冗余性的能力。此外，现有的方法通常在获得表征后直接合并模式，忽略了它们之间潜在的情感相关性。为了解决这些挑战，我们提出了一个多视图协同感知（MVCP）框架，用于多模态情感分析。该框架主要由两个模块组成：多模态解纠缠表示学习（MDRL）和跨模态上下文关联挖掘（CMCAM）。MDRL模块采用一个联合学习层，包括一个通用编码器和一个专用编码器。
2025-05-07 16:15:58
895
原创 【SDRS】面向多模态情感分析的情感感知解纠缠表征转移
我们设计了四个transformerstyle编码器的极性特定的和非极性的语义信息的两个非言语模态A和V，分别。在特征提取之后，我们可以获得原始非语言特征Xm（m ∈ {A，V}）和文本特征T。这些特征被馈送到编码器中以获得相应的独立语义表示Ip m：其中，Xm是要解离的原始特征，Ym是另一个非语言特征，是粗粒度极性编码器，是粗粒度非极性语义编码器。我们进一步设计了细粒度的情感和非情感语义编码器和解码器。与极性编码器相比，情感编码器的底层具有使用Spm的三个以上的CA层。
2025-05-06 22:25:03
1155
原创 【TF-BERT】基于张量的融合BERT多模态情感分析
（背景与问题）由于单模态情感识别在复杂的现实应用中的局限性，多模态情感分析（MSA）得到了极大的关注。传统方法通常集中于使用Transformer进行融合。然而，这些传统的方法往往达不到，因为Transformer只能同时处理两种模态，导致信息交换不足和情感数据的潜在丢失。（方法提出）针对传统跨模态Transformer模型一次只能处理两种模态的局限性，提出了一种基于张量的融合BERT模型（TF-BERT）。
2025-05-04 18:25:05
1080
原创 【DecAlign】用于解耦多模态表征学习的分层跨模态对齐
（问题引入1~2句）多模态表征学习的目标是在多种模态中获取共享的和互补的语义信息。然而，不同模式的内在异质性对实现有效的跨模式协作和整合提出了重大挑战.（方法提出3~4句）为了解决这一问题，我们引入了DecAlign，一个新颖的层次化跨模态比对框架，旨在将多模态表示解耦为模态唯一（异构）和模态共有（同构）特征。为了处理异质性，我们采用了一种原型引导的最佳交通路线策略，该策略利用高斯混合模型和多边际交通计划，从而在保持交通方式独特性的同时减轻了分布差异。
2025-05-02 10:59:03
1107
原创 【DeepMLF】具有可学习标记的多模态语言模型，用于情感分析中的深度融合
基于Transformer架构论文[26]，我们简要概述了其架构，特别是本文中使用的预规范仅编码器和仅解码器[58]设计。我们的演示保持了一个抽象级别，以便它可以封装Transformer变体，特别是注意力机制[59]，规范化和前馈组件[60]中的不同风格。典型的编码器层设计由一个多头自注意（SA）模块和一个前馈（FFW）模块组成[26]。
2025-05-01 09:58:02
922
原创 conformer编码器
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将联合收割机卷积神经网络和transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖性进行建模，从而实现两全其美。在这方面，我们提出了。Conformer显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。
2025-04-25 19:35:53
714
原创 【DE-III】基于细节增强的模态内和模态间交互的视听情感识别
在视听情感识别（AVER）中，捕捉视频和音频模态之间复杂的时间关系是至关重要的。为此，本文提出了一种用于AVER的细节增强的模态内和模态间交互网络（DE-III）。融合模块将光流估计与对应的视频帧相结合以增强面部纹理变化的表示。在3个基准数据集上的实验结果表明，无论是在具体情感识别还是连续情感识别方面，本文提出的模型都优于所有现有的情感识别方法。为鼓励进一步研究并确保可复制性，我们将在接受后发布完整代码。
2025-04-25 18:57:19
599
原创 【T-MRMSM】文本引导多层次交互多尺度空间记忆融合多模态情感分析
（背景）近年来，随着多模态数据量的迅速增加，多模态情感分析（MSA）越来越受到关注.该方法通过整合不同数据模态间的信息，提高了情感极性提取的准确性，从而实现了信息的全面融合，提高了情感分析的精度。（针对创新处的不足）然而，现有的深度模型往往忽略了空间和全局记忆信息对情感分析的辅助作用。此外，对语篇模态的强调往往会阻碍视觉和听觉模态信息的表达。（整个框架的创新）为解决该问题，提出了一种基于文本引导的多层次表示集成和多尺度空间-记忆信息融合模型T-MRMSM。
2025-04-25 14:05:30
1446
原创 【UFEN】基于多层特征融合和多任务学习的多模态情感分析
主要挑战包括：1、模型如何在单一模态中提取情感信息，并实现多模态信息的互补传输；2、在单一模态中体现的情绪与多模态标签不一致的情况下，如何输出相对稳定的预测；3、当单模态信息不完整或特征提取性能不佳时，该模型如何确保高精度。
2025-01-21 21:59:08
2157
原创 【MAMSA】基于多注意力的多模态情感分析
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
2025-01-20 23:37:49
3119
2
原创 【协程库】协程调度
协程调度是指管理和控制多个协程在程序中的执行顺序和时机的过程。协程是一种轻量级的、用户态的线程，允许在单个线程内实现并发执行。在前面的协程模块中，对于每个协程，都需要用户手动调用协程的resume方法将协程运行起来，然后等协程运行结束并返回，再运行下⼀个协程。这种运行协程的方式其实是用户自己在挑选协程执行，相当于用户在充当调度器，显然不够灵活。引入协程调度后，则可以先创建⼀个协程调度器，然后把这些要调度的协程传递给调度器，由调度器负责把这些协程⼀个⼀个消耗掉。
2024-12-04 21:27:46
1296
原创 基于变换融合和情感层次表征学习的多标签多模态情感识别
三区，2023年，魔改transformer，最大的创新在于连分类头都用了transformer(?)
2024-12-03 18:04:59
1503
原创 【LMR-CBT】基于CB-Transformer的学习模态融合表征在非对齐多模态序列中的情感识别
0.41MB，轻量化，半个transform
2024-12-02 18:24:41
1103
原创 C++实现Raft算法之辅助函数
快照的作用是将一段时间内的所有日志合并为一个单一的状态快照，这样即使日志非常庞大，我们也能通过加载快照来恢复系统状态，避免从日志中逐条重放每一个历史操作。假设一个场景：一个节点在某个任期内投票给了候选人A，然后节点崩溃并重启，如果没有持久化m_votedFor，节点在重启后不知道它已经投过票了，它可能会再次投票给候选人B，这一过程导致出现重复投票，违反了Raft协议的规则。假设你有一个系统，系统执行了多个操作，比如读和写，这些操作是由多个客户端发起的，执行的顺序可能是乱序的，或者说存在并发的情况。
2024-11-28 08:55:18
783
原创 C++共享智能指针
C++中没有垃圾回收机制，必须自己释放分配的内存，否则就会造成内存泄漏。解决这个问题最有效的方式是使用智能指针。智能指针是存储指向动态分配(堆)对象指针的类，用于生存期的控制，能够确保在离开指针所在作用域时，自动销毁动态分配的对象，防止内存泄漏。C++提供了三种智能指针，使用前需要引用头文件<memory>：std::shared_ptr：共享的智能指针std::shared_ptr：独占的智能指针。
2024-11-23 17:23:30
1130
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人