本文是LLM系列文章,针对《Miko: Multimodal Intention Knowledge Distillation from Large
Language Models for Social Media Commonsense Discovery》的翻译。
摘要
社交媒体已经成为一种无处不在的工具,可以与他人联系、随时了解新闻、表达意见和寻找娱乐。然而,理解社交媒体帖子背后的意图仍然具有挑战性,因为这些意图具有隐含性和常识性,需要对文本和图像进行跨模态理解,以及存在诸如标签、拼写错误的单词和复杂缩写等嘈杂信息。为了应对这些挑战,我们提出了Miko,这是一个多模态意图知识提取框架,它协同利用大型语言模型(LLM)和多模态大型语言模式(MLLM)来揭示用户的意图。具体来说,我们使用MLLM来解释图像&