对话式 AI 的人性：评估大型语言模型的心理画像

近年来，大型语言模型（LLMs）展现出非凡的能力，不仅在自然语言处理任务中表现出色，还在临床医学、法律咨询和教育等多个领域取得了进展。LLMs 不仅仅是单纯的应用，而是演变为能够满足各种用户需求的助手。这模糊了人类与人工智能代理之间的界限，引发了人们对 LLM 内部可能表现出的人格、气质和情感的思考。

本文提出了一种名为 PsychoBench 的框架，用于评估 LLM 的各种心理方面。PsychoBench 包含临床心理学中常用的 13 个量表，并将这些量表进一步分为四个不同的类别：人格特质、人际关系、动机测试和情绪能力。我们的研究考察了五个流行的模型，即 text-davinci-003、ChatGPT、GPT-4、LLaMA-2-7b 和 LLaMA-2-13b。此外，我们还使用了一种“越狱”方法来绕过安全对齐协议，测试 LLM 的内在本质。我们已将 PsychoBench 公开发布在 https://github.com/CUHK-ARISE/PsychoBench。

为什么我们要关注 LLM 的心理测量？

对于计算机科学研究人员来说： 鉴于人工智能可能呈指数级发展，并可能对人类构成生存威胁（Bostrom, 2014），研究人员一直在研究 LLM 的心理，以确保它们与人类的期望保持一致。Almeida 等人