中科院：LLM角色扮演知识错误检测

📖标题：Revealing the Challenge of Detecting Character Knowledge Errors in LLM Role-Playing
🌐来源：arXiv, 2409.11726

摘要

🔸大型语言模型（LLM）角色扮演受到了广泛关注，其中真实的角色知识对于构建逼真的LLM角色扮演代理至关重要。然而，现有的研究通常忽视了LLM在扮演角色时检测角色已知知识错误（KKE）和未知知识错误（UKE）的能力的探索，这将导致低质量的角色可训练语料库的自动构建。
🔸本文提出了一种探测数据集来评估LLM检测KKE和UKE错误的能力。结果表明，即使是最新的LLM也很难有效地检测到这两种类型的错误，尤其是在熟悉的知识方面。我们尝试了各种推理策略，并提出了一种基于代理的推理方法——自回忆和自怀疑（S2RD），以进一步探索提高错误检测能力的潜力。
🔸实验表明，我们的方法有效地提高了LLM检测错误字符知识的能力，但这仍然是一个需要持续关注的问题。探测数据集、提示和代码存放于https://github.com/WYRipple/rp_kw_errors

🛎️文章简介

🔸研究问题：大语言模型（LLM）在角色扮演中如何检测角色知识错误，特别是已知知识错误（KKE）和未知知识错误（UKE）？
🔸主要贡献：论文定义并探索了LLM检测角色知识错误的能力，构建了一个探测数据集，发现LLM在检测错误方面表现不佳，尤其是已知知识错误。

📝重点思路

🔺相关工作

🔸LLM角色扮演：LLM具有模拟各种风格、属性和个性的能力，可以应用于情感伴侣机器人、特定个性的聊天机器人、社会角色互动和教育等场景，但受限于KKE和UKE。
🔸角色扮演语料库建设：目前的研究主要集中在构建RPA语料库以增强人物刻画的有效性，包括 ①LLM作为工具 ②LLM作为来源

🔺评测设计

🔸错误1-KKE：查询包含角色认知中的不正确知识，比如问牛顿显微镜的发明者回答错误。
🔸错误2-UKE：当查询包含超出角色理解范围的知识，比如问牛顿大模型的定义也能说对。
🔸数据集构建：首先将角色的维基百科语料库分解为多个正确记忆，然后注入两种类型的知识错误。

🔺S2RD推理

🔸身份重述：模型重述其身份来增强其自我叙述能力，作为后续推理步骤的输入
🔸自回忆：LLM通过间接回忆相关知识来生成近似的种子记忆，然后使用这些种子记忆作为检索点，在角色的维基百科语料库中搜索事实知识。
🔸自怀疑：利用两个不同阶段的输出作为最终推理上下文，指导LLM的推理过程，强制LLM更关注角色边界，提供更可靠的参考。
🔸输出：所有结果被组合到最后一个代理的上下文中以检测错误，为LLM提供更可靠的先验知识。

🔎分析总结

🔸LLM在检测角色知识错误方面表现不佳，尤其是对于KKE方面比UKE更容易出错，准确率低约20%。
🔸分析表明LLM可能忽略了错误的知识，原因在于正确和错误记忆的语义表示相似，以及LLMs学习到的丰富世界知识。
🔸S2RD方法在检测表现出最显着的改进，但在KKE方面依旧不足，使用RAG在KKE中更有效、案例更适用于UKE。

💡个人观点

论文的核心是模拟人类参考和反思模糊记忆的过程，增强LLM的agent在角色扮演中检测角色知识错误的能力。

附录