HKUST：基于LLM的角色扮演agent综述

📖标题：The Oscars of AI Theater: A Survey on Role-Playing with Language Models
🌐来源：arXiv, 2407.11484

🛎️文章简介

本文主要调研了与LLM角色扮演相关的领域，并从多个方面进行了综合分析，不仅概述了当前的方法和挑战，还为未来提高角色扮演的深度和真实性的研究提出了途径。

📝重点思路

🔺数据获取

🔸目标：数据集是训练、分类和测试不同角色扮演代理最重要的先决条件。
🔸基于Persona：主要关注地域和性别等表面和常见属性，通常收集粗粒度的角色属性信息。
🔸基于Character：主要关注小说或叙事等语料库级别的背景材料，通常收集现实世界的典型个人或虚拟场景的取材。

🔺模型对齐

🔸模型：作为底层架构，决定了角色扮演场景中可实现的性能和复杂程度的下限，经历了非预训练模型、PLM和LLM三个阶段。
🔸对齐：角色扮演取决于语言模型与独特的角色相关信息的精确对齐，包括参数调优对齐（SFT、RLHF等）和参数冻结对齐（ICL、RAG等）

🔺代理架构

🔸记忆：记忆主要源自用户-代理交互和代理-代理交互，可以通过检索和压缩的方式做集成。
🔸规划：通常包括计划制定和计划反思两个阶段。
🔸行动：动作是事先规划、记忆利用和交互的结果，工具使用非常重要。

🔺模型评估

🔸维度：包括对话质量、角色人物一致、角色行为一致和角色思想一致。
🔸方式：包括测试集答案评分、人类作为评估器、模型作为评估器。

🔎分析总结

🔸挑战包括制定具体的评估指标、高效的记忆管理、确保角色对齐、维护安全和促进终身学习。
🔸解决这些问题需要采取综合方法，将技术创新与严格遵守道德标准相结合。

附录