![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多模态情感分析
文章平均质量分 69
up up up!
fighting!
展开
-
(2024 MM) MIND:Improving Multimodal Sentiment Analysis Via Multimodal Information Disentanglement
学习有效的联合表征一直是多模态情感分析的核心任务。以前的方法侧重于利用不同模态之间的相关性,并通过复杂的融合技术提高性能。然而,由于不同模态固有的异质性,可能导致分布差距,阻碍了对多模态信息的充分利用,并导致从特征中提取的信息冗余和不纯。为了解决这个问题,我们引入了多模态信息解纠缠(MInD)方法。MInD通过共享编码器和多个私有编码器将多模态输入分解为模态不变分量、模态特定分量和每个模态的残余噪声分量。共享编码器的目的是探索模态之间的共享信息和共性,而私有编码器的目的是捕获独特的信息和特征。原创 2024-05-07 20:48:16 · 1088 阅读 · 0 评论 -
Python与PyTorch的版本对应
原创 2024-04-12 11:25:01 · 325 阅读 · 0 评论 -
Bert模型输出:last_hidden_state转换为pooler_output
在这个示例中,我们首先从预训练的BERT模型中加载了tokenizer和BERT模型。要使用预训练的BERT模型的权重来初始化线性层 pooler_layer,可以从预训练的BERT模型中加载权重,并将这些权重用作 pooler_layer`的初始权重。在BERT模型中,last_hidden_state是最后一个隐藏层的隐藏状态,而pooler_output是通过应用一个全连接层(通常是一个线性变换加上激活函数)到last_hidden_state中的特殊token([CLS] token)得到的。原创 2024-03-20 21:40:24 · 1545 阅读 · 0 评论 -
SUGRM(2023 ACL fingds)
在过去的几年中,多模态情感分析(MSA)得到了广泛的关注,但大多数研究的重点都局限于构建多模态表示,捕捉单个任务中不同模态之间的交互作用。这在很大程度上是因为。原创 2024-03-18 15:33:02 · 635 阅读 · 0 评论 -
(2021 AAAI) Self_MM
表征学习是多模态学习中一项重要而富有挑战性的任务。有效的模态表示应该包含两部分特征:一致性和差异性。原创 2024-03-12 18:37:43 · 1177 阅读 · 0 评论 -
(2023ACL) ConFEDE: Contrastive Feature Decomposition for Multimodal SentimentAnalysis
多模态情感分析旨在预测视频内容的情感。最近的研究表明,多模态情感分析关键取决于学习多模态信息的良好表征,而表征应包含不同模态间一致的模态不变表征和模态特定表征。在本文中,我们提出了一个统一的学习框架ConFEDE,它联合进行对比表征学习和对比特征分解,以增强多模态信息的表征。它将视频样本的三种模式(包括文本、视频和音频)分解为相似特征和不相似特征,并通过以文本为中心的对比关系来学习。我们在CH-SIMS、MOSI和MOSEI上进行了广泛的实验,以评估各种最先进的多模态情感分析方法。原创 2024-03-04 19:12:04 · 1016 阅读 · 0 评论 -
网络模型训练 模型保存
使用训练集训练模型,在某个训练的epoch开始,计算验证集的性能(比如准确度)表现,边训练边保存性能更优的模型。训练很多很多次,验证集性能估计先上升后下降,等到验证集性能有较明显下降的趋势,就可以停止了。(2)loss是否继续降低,或者其他metric是否继续变化,但是并不意味着不降低了模型就好,这个往往是训练的时候比较容易观察的指标。验证集上结果是否继续提升,这个是比较靠谱的,如果选择的验证集靠谱的话。答:训练次数过多,模型对训练集拟合过好,模型泛化能力会降低,验证集的性能会下降。原创 2024-02-27 20:03:39 · 255 阅读 · 0 评论 -
ubuntu系统中的cuda cudnn cudatookit及pytorch使用
这篇讲的很详细转载 2023-08-01 15:19:55 · 120 阅读 · 0 评论 -
Pytorch安装
使用pip install torch (2.0.0版本),这样安装的torch是直接运行在CPU上的,想要使用GPU版本需要使用对应的cuda版本。尽管pytorch官网上目前只给出了11.8的Cuda支持,但是社区明确表明了兼容高版本Cuda。在安装pytorch时我们需要选择对应CUDA版本的pytorch,那如何查看CUDA版本呢?二、去Pytorch官网下载对应CUDA版本的pytorch。安装好后,检验是否安装成功,新建.py文件。首先激活Python 虚拟环境。1.NVIDIA方式。原创 2023-06-30 15:19:59 · 3763 阅读 · 0 评论 -
多模态第2篇:MMGCN代码配置
在执行过程中出现安装包卡住不动,无法继续安装成功的问题,报错如下Building wheel for torch-scatter (setup.py) …将Shell path一栏改成刚刚下载的git的路径,注意选择的是sh.exe,不是git.exe!train.py中第2行的CUDA_VISIBLE_DEVICES改为0。(3)最后在左下角打开Terminal,即可运行.sh文件了。打开run.sh文件,直接点击左侧的绿色三角形即可开始运行。:相关的wheel文件下载不到 或者是下载缓慢;原创 2023-07-31 20:22:16 · 550 阅读 · 1 评论 -
多模态第1篇:MISA代码配置运行
Pycharm专业版2022.2.2 python3.8源码中给了environment.yml,可以用以下命令创建,但可能是由于某些库的版本问题,尝试失败。最终选择新建一个虚拟环境,命名为MISA ,再依次导入相关包。原创 2023-07-06 20:31:16 · 1467 阅读 · 17 评论