Limits of Large Language Models in Debating Humans

本文是LLM系列文章，针对《Limits of Large Language Models in Debating Humans》的翻译。

摘要

大型语言模型（LLM）在与人类熟练互动的能力方面表现出了非凡的前景。随后，在涉及对话的社会学实验中，它们作为人工联盟和代理的潜在用途是一个令人兴奋的前景。但这个想法有多可行？本文试图通过一项预先注册的研究来测试当前LLM的局限性，该研究将真实的人与充当人的LLM代理相结合。这项研究的重点是在三种环境中形成基于辩论的意见共识：仅人类、代理和人类以及仅代理。我们的目标是了解LLM代理如何影响人类，以及它们像人类一样进行辩论的能力。我们发现LLM可以融入并促进人类生产力，但在辩论中不太令人信服，它们的行为最终偏离了人类的行为。我们阐明了这些主要缺陷，并预计LLM在成为可行的辩手之前必须进一步发展。

1 引言

2 实验设计

3 结果

4 讨论