Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of LLM

本文是LLM系列文章，针对《LLM Agents in Interaction: Measuring Personality Consistency and
Linguistic Alignment in Interacting Populations of Large Language Models》的翻译。

摘要

虽然在大型语言模型（LLM）的研究中，代理交互和个性化都是充满活力的主题，但对语言交互对受角色制约的LLM代理行为的影响的关注有限。这样的努力对于确保代理人与他们指定的特征保持一致，同时能够进行公开的、自然主义的对话非常重要。在我们的实验中，我们通过提示对GPT-3.5进行人格特征调节，并使用简单的变异性诱导采样算法创建两组LLM代理。然后，我们进行性格测试，并将代理提交给合作写作任务，发现不同的个人资料表现出不同程度的性格一致性和与对话伙伴的语言一致性。我们的研究旨在为更好地理解LLM之间基于对话的互动奠定基础，并强调需要新的方法来为互动环境打造强大、更人性化的LLM人物角色。

1 引言

2 实验方法

3 结果

4 结论

人格制约LLM在互动中表现出一致的个性和语言使用吗？在这项研究中，我们使用外显和内隐人格评估，探索了以人格特征为条件的GPT-3.5代理在互动中一致表达其指定特征的能力。外显人格测试是通过BFI问卷进行的，而内隐评估是通过对模型生成的故事进行定量语言分析进行的。我们的实验表明，LLM代理的行为可以模仿人类的性格特征，但代理的一致性的变化取决于所分配的个人资料，而不是代理人是否参与语言互动。特别是，在互动和非互动实验条件下，创造性人格比分析性人格更能始终如一地表达其BFI特征。此外，虽然非互动语言的使用反映了指定的个性特征，但主体对其对话伙伴表现出语言一致性，因此，两个主体群体的语言在互动后变得更加相似。然而，一致性并不一定是对称的：创造性人格更倾向于分析性人格，这可能是由于分析主体对通过人格提示诱导的体验的开放程度较低。
我们计划继续这项工作，在我们的实验设置中引入更多样化和细粒度的个性特征，使代理之间的交互多回合，并根据交互式对齐框架测量不同抽象级别的对齐，如词汇、句法和语义。未来的研究还应侧重于设计方法（例如，不同的提示策略），以更好地保证人格的一致性，并更好地控制语言适应的程度。

局限性