MEMO-Bench揭示现有多模态在负面情绪图片识别与生成上存在巨大缺陷

本文介绍了MEMO-Bench，这是一个针对文本到图像生成模型和多模态大型语言模型在情感分析方面能力的综合基准测试。MEMO-Bench包含7145张描绘六种不同情感的肖像画，并使用12个文本到图像模型生成。研究结果表明，现有的文本到图像模型在生成积极情绪方面比消极情绪更有效，而多模态大型语言模型在情感识别上虽然有一定效果，但尚未达到人类水平，尤其是在细粒度情感分析方面。MEMO-Bench将公开提供，以支持该领域的进一步研究。

论文: MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis
链接: https://arxiv.org/pdf/2411.11235

研究背景

研究问题： 如何评估文本到图像（T2I）模型和多模态大型语言模型（MLLMs）在人类情感分析方面的能力。具体来说，研究探讨了T2I模型在情感生成方面的表现以及MLLMs在情感理解方面的表现。
研究难点： 如何有效地评估T2I模型和MLLMs在情感分析任务中的