多模态 | 基于GNN的多模态情感识别技术COGMEN项目实现，代码分析，并训练自己的数据集，后期修改网络，运行全部过程以及经验总结

夏天｜여름이다

已于 2023-04-26 15:16:41 修改

阅读量2.8k

点赞数 3

分类专栏： - 多模态 - # - Python # - Transformer 文章标签： python 开发语言多模态

于 2023-04-03 15:27:03 首次发布

本文链接：https://blog.csdn.net/weixin_44649780/article/details/129927025

版权

本文详细介绍了基于GNN的多模态情感识别技术COGMEN的实现过程，包括环境设置、数据预处理、训练、验证以及如何使用自己的数据集进行训练。通过实验，展示了训练效果和验证结果，并提供了代码分析和数据处理的指导。

摘要由CSDN通过智能技术生成

COGMEN: COntextualized GNN based Multimodal Emotion recognitioN

COGMEN: 基于GNN的多模态情感识别技术

Paper: https://arxiv.org/abs/2205.02455

环境设置

如果安装GPU版本，cuda版本需要11.7及以上

conmet.ml

对于已经有pytorch的情况，我只安装了以下命令

pip install comet_ml --upgrade #使用默认的 Python，comet_ml升级到最新版本
pip install torch_geometric
pip install -U sentence-transformers

数据集：iemocap_4

对数据集进行处理，运行

python preprocess.py --dataset="iemocap_4"

运行后，结果如图

python train.py --dataset="iemocap_4" --modalities="atv" --from_begin --epochs=55

训练效果如图

训练后，生成model_checkpoints目录，如下