【慢工社—论文阅读】LLMs能成为产品调研中合适的被访谈者吗？斯坦福学生团队近期的文献尝试回答这个问题

Park, J. S., Zou, C. Q., Shaw, A., Hill, B. M., Cai, C., Morris, M. R., Willer, R., Liang, P., & Bernstein, M. S. (2024). Generative agent simulations of 1,000 people. arXiv. https://doi.org/10.48550/arXiv.2411.10109

（本论文共65页=12页论文+支撑材料，通过ChatGPT进行拆解阅读）

---

概述

本文探讨了一种新颖的生成式代理（Generative Agent）架构，该架构结合了详细的定性访谈和大语言模型（LLMs），用于模拟超过1,000名个体的行为和态度。这些代理旨在通过定性洞察，在多种场景下模拟人类行为，并预测在社会科学调查、人格评估和实验任务中的真实反应。

关键发现

1.预测准确性：

生成式代理在综合社会调查（GSS）问题上表现出显著的预测准确性，实现了85%的标准化准确率，与参与者自身在不同时间点回答的一致性相当。

2.行为洞察：

代理（Agent）成功预测了个体和集体行为，并以高度相关的结果再现了社会科学实验中的人类结果。

3.访谈效率：

与其他数据收集方法相比，访谈数据提供了更丰富和可靠的信息，即使是使用访谈摘要或部分访谈记录时亦是如此。

4.偏差缓解：

该架构减少了在人口统计子群体（如政治意识形态、种族和性别）中的偏差，不同种族和意识形态群体的表