MMSA多模态情感识别仓库复现遇到的问题

已于 2023-04-28 11:30:42 修改
阅读量718 收藏 5
点赞数
文章标签： 深度学习 人工智能 经验分享 论文阅读
于 2023-04-28 11:30:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52679708/article/details/130423020
版权

1.run.py函数运行报错，可能版本原因将原来285行的 dict｜str 改为str
2.需要自己下载数据创建一个文件夹，只需要下载各个数据集的.pkl文件即可
3.API接口调用，使用代码的时候自己创建一个model-save和rusult-save文件，config对应参数改一下路径，跑完可得到结果
4.本次仅使用了ch-sims数据集，由该论文来这复现
5.三个多模态任务模型会报错，原因：局部变量在声明前调用，还不知道怎么改

一颗2021
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
探索MMSA：多模态序列到序列学习框架
gitblog_00063的博客
04-17 345
探索MMSA：多模态序列到序列学习框架 项目地址:https://gitcode.com/thuiar/MMSA 项目简介 MMSA 是一个由开源社区开发者构建的深度学习框架，专门用于多模态序列到序列（Sequence-to-Sequence）的任务。该项目旨在为自然语言处理、图像识别和其他跨领域的多模态问题提供高效且灵活的解决方案。 技术分析 MMSA基于PyTorch构建，它整合了现代神经网络...
MMSA:CH-SIMS
08-04
MMSA 多模态情感分析中代码的 Pytorch 实现。 注意：我们强烈建议您首先浏览我们代码的整体结构。 如果您有任何疑问，请随时与我们联系。 支持模型 在这个框架中，我们支持以下方法： 类型 型号名称 从 单任务 单任务 —— 单任务 单任务 单任务 单任务 单任务 （无 CTC） 单任务 米萨 米萨 多任务 MLF_DNN MMSA 多任务 MTFN MMSA 多任务 MLMF MMSA 多任务 自我_MM 自我MM 结果 详细结果见results/result-stat.md 用法 克隆代码 克隆这个 repo 并安装需求。 git clone https://github.com/thuiar/MMSA cd MMSA pip install -r requirements.txt 数据集和预训练的 berts 从以下链接下载数据集特征和
预训练模型与自己模型参数不匹配
qq_41389330的博客
09-17 3800
导入预训练模型在通常情况下都能加快模型收敛，提升模型性能。但根据实际任务需求，自己搭建的模型往往和通用的Backbone并不能做到网络层的完全一致，无非就是少一些层和多一些层两种情况。 1. 自己模型层数较少 net = ... # net为自己的模型 save_model = torch.load('path_of_pretrained_model') # 获取预训练模型字典（键值对） model_dict = net.state_dict() # 获取自己模型字典（键值对） # 新定义字典
基于多模态数据的情感分析
予以初始的博客
10-23 7461
目录前言1 介绍2 原理3 总结 前言 信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。 多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。 1 介绍 本
ViLT-多模态论文复现
盼你开心
03-29 1969
多模态经典论文，VILT论文复现。
关于多模态情感识别MULT模型复现遇到的问题
qq_52679708的博客
09-14 255
mult模型，跨模态注意力
特征提取feature extraction
03-27
总之，特征提取在机器学习和深度学习中扮演着至关重要的角色，它能帮助我们从原始的、高维的数据中提取出有意义的特征，从而简化问题并提高模型的泛化能力。Python和TensorFlow的结合提供了强大的工具，让我们能够...
sims-dev
03-18
“晕”和“晕拉吉”可能是玩家在游戏体验过程中对某些复杂操作或情境的反应，比如面对众多选择时的困惑或者遇到游戏难题时的无奈。而"woooo ancene"可能表达了玩家在游戏中的兴奋与快乐，这通常是成功完成任务或解锁...
MS9000TrainingManul2004.pptx
10-11
评估MS-9000的合规性是通过Material Management System Assessment (MMSA) 进行的，供应商首先进行自我评估，然后由评估团队审核MMSA中列出的要求和流程的完成情况。评估流程涉及19个主要条款，其中包括： 1. 管理...
gbnp:游戏男孩任天堂Power ROM Builder
04-30
GBNP：Game Boy Nintendo Power ROM构建... NesDev论坛主题： ://forums.nesdev.com/viewtopic.php?f=12&t=11453 早期的GameBoy字体： ： 口袋妖怪GB字体： : 诺基亚手机FC字体： : NP GBメモリ（DMG-MMSA）字体这是尝
多模态语义分析_多模态情感分析数据集（Multimodal Dataset）整理
weixin_29212867的博客
12-28 2270
这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。最近发现有一个网站的数据集很全，包含了各种任务各种语言不同规模的数据集#The Big Bad NLP Database#，大家如果有更多的需要可以在上面找以下，链接是The Big Bad NLP Database一、双模态（一般是文本、图像和语音的两两组合）1.《Multi-Modal Sa...
（2023）基于多模态概率融合提示的少样本多模态情感分析
大肉包的博客
04-11 1449
为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。
mscoco数据集_多模态情感分析数据集整理
weixin_39635084的博客
11-28 1057
这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。作者：骑着白马的王子地址：https://www.zhihu.com/people/pi-pi-57-6701 双模态(一般是文本、图像和语音的两两组合)1.《Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Mo...
【NLP】文献翻译4——CH-SIMS：中文多模态情感分析数据集与细粒度的模态注释
热门推荐
YoungSeng's Blog
04-17 1万+
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality摘要1. 介绍2. 相关工作2.1 多模态数据集2.2 多模态情感分析2.3 多任务学习3. CH-SIMS 数据集3.1 数据获取3.2 标注3.3 特征提取4. 多模式多任务学习框架4.1 单模态子网4.2 特征融合网络4.3 优化目标5. 实验5.1 基准5.2 实验的细节5.3 结果和讨论5.3.1 与
深度学习（十）：MFTN多模态融合
最新发布
m0_68926749的博客
12-27 1462
多模态情感分析（Moglobal et al.，2011;Zadeh等人，2016 b;Jiang et al.，2015）是情感计算研究的一个越来越受欢迎的领域（Escherichet al.，2017年），专注于将基于文本的情感分析推广到固执己见的视频，其中存在三种沟通方式：语言（口语），视觉（手势）和声学（语音）。如图所示，“这部电影很恶心”的话语本身可能是模糊的（积极或消极的），但如果说话者同时也在微笑，那么它将被视为积极的。另一方面，同样的话语与皱眉将被视为负面的。
清华论文CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modali
Neo的战斗部
03-08 3155
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality 创新点 1. 提出了一种数据集，可以同时去做单模态分类，多模态分类以及多任务分类。 2. 提出了一种多模态多任务的后端融合的框架，在这个框架下进行多模态训练会使得测试结果更高。 论文细节 单模态和多模态的标签是分开的 对每一段语音，文本，视频都叫五个人去打标签，每个人打的标签只有三种， 1是积极的，0中性的，-
10.12 学习笔记
weixin_43405535的博客
10-13 237
等等，这些任务基本上只会用到单一模态的文本数据。我们通过这种方式构建模型，然后将模型应用到相应的任务或应用中。图像处理也是类似的。事实上，在近几年之前，文本处理和图像处理这两个领域的发展基本上是独立的，它们的关联度并不高，尤其是在Transformer模型出现之前。
语音及多模态语音数据集总结
weixin_57090235的博客
01-05 777
总结出语音情感识别方向较出名的数据集，其中IEMOCAP数据集是国内外研究者最常使用的。
读文章笔记（八）：多模态情感分析数据集整理
Wangzx的博客
04-29 3973
读文章笔记（八）：多模态情感分析数据集（Multimodal Dataset）整理双模态（一般是文本、图像和语音的两两组合）三模态（一般是文本、图像加语音） 作者：骑着白马的王子 地址：https://www.zhihu.com/people/pi-pi-57-67 公众号：人工智能前沿讲习https://mp.weixin.qq.com/s/rWRJ8taUsIQAZFq3PD1-ng 双模态（一般是文本、图像和语音的两两组合） 1.《Multi-Modal Sarcasm Detection in Tw
多模态情感分析论文解读——CTFN模型
qq_44609058的博客
04-20 7513
论文：CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Network 论文链接：其中couple learning能够并行的进行双向跨模态的相互关联，本文通过(text,video)、(audio,text)、(audio,video)3个CTFN模块结合使用以弥补模态缺失。 论文、动机及相关工作介绍 该论文发布在ACL-2021，由浙江省脑机协...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值