Collaborative Stance Detection via Small-Large Language Model Consistency Verification

本文是LLM系列文章，针对《Collaborative Stance Detection via Small-Large Language Model Consistency Verification》的翻译。

摘要

社交媒体上的立场检测旨在识别推文中对特定目标表达的态度。当前研究由于大语言模型（LLMs）具有显著的性能提升，因而更倾向于使用它们，而非小语言模型（SLMs）。然而，对于需要大量数据分析的现实社交媒体监测系统而言，不计成本地过度依赖大语言模型进行立场检测并不现实。为此，我们提出了通过小大语言模型一致性验证的协同立场检测（CoVer）框架，该框架通过上下文共享的批量推理以及大语言模型和小语言模型之间的逻辑验证，提高了大语言模型的利用效率。具体而言，CoVer并非逐个处理文本，而是批量处理文本，在共享上下文中通过大语言模型推理获得立场预测和相应解释。然后，为排除上下文噪声导致的偏差，CoVer引入小语言模型进行逻辑一致性验证。最后，对于多次表现出低逻辑一致性的文本，使用之前大语言模型立场预测的一致性加权聚合进行分类。我们的实验表明，在零样本设置下，CoVer在多个基准测试中优于现有最先进的方法，每条推文仅需0.54次大语言模型查询，同时显著提升了性能。CoVer为在社交媒体立场检测中部署大语言模型提供了更具实用性的解决方案。