Emotion-LLaMA：用 AI 读懂、听懂、看懂情绪，精准捕捉文本、音频和视频中的复杂情绪

本文链接：https://blog.csdn.net/qq_19841021/article/details/145149904

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

Emotion-LLaMA Framework

Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合了音频、视觉和文本输入，通过特定情绪编码器整合信息。模型基于修改版 LLaMA，经过指令调整以提升情感识别能力。研究者构建了 MERR 数据集，助力模型训练与评估，使其能够从多场景中学习并应用于现实世界。

Emotion-LLaMA 在多个数据集和挑战赛中表现优异，如在 MER2024 挑战赛 MER-NOISE 赛道中以 84.52% 的 WAF 超越其他团队。其架构设计巧妙，充分发挥 LLaMA 的优势，纳入关键情感线索。

多模态输入融合：通过特定于情绪的编码器，Emotion-LLaMA 能够无缝集成音频、视觉和文本输入。
特征对齐与指令调整：模型将来自不同模态的特征对齐到共享空间，采用经过指令调整的修改版 LLaMA 模型。
数据集构建：为了支持模型训练和评估，研究者构建了 MERR 数据集，包含 28618 个粗粒度和 4487 个细粒度注释样本。
基于 Transformer 架构：Emotion-LLaMA 的核心架构基于 Transformer，利用自回归生成机制、多头自注意力机制等技术实现高效的自然语言生成和情绪推理。

git clone https://github.com/ZebangCheng/Emotion-LLaMA.git
cd Emotion-LLaMA
conda env create -f environment.yaml
conda activate llama

从 Huggingface 下载 Llama-2-7b-chat-hf 模型，并保存到 Emotion-LLaMA/checkpoints/ 目录下。

在 minigpt4/configs/models/minigpt_v2.yaml 文件中指定 Llama-2 模型的路径：

llama_model: "/home/user/project/Emotion-LLaMA/checkpoints/Llama-2-7b-chat-hf"

python app.py

运行后，点击生成的链接即可体验本地 Demo。

🥦 微信公众号｜搜一搜：蚝油菜花 🥦