I Think, Therefore I am: Benchmarking Awareness of Large Language Models Using AWAREBENCH

本文是LLM系列文章，针对《I Think, Therefore I am: Benchmarking Awareness of Large Language
Models Using AWAREBENCH》的翻译。

摘要

大型语言模型（LLM）是否表现出与人类相似的意识形式？在本文中，我们介绍了AWAREBENCH，这是一个旨在评估LLM意识的基准。根据心理学和哲学的理论，我们将LLM中的意识定义为将自己理解为人工智能模型并展示社会智能的能力。随后，我们将LLM中的意识分为五个维度，包括能力、使命、情感、文化和视角。基于这种分类法，我们创建了一个名为AWAREEVAL的数据集，其中包含二进制、多项选择和开放式问题，以评估LLM对特定意识维度的理解。我们对13名LLM进行的实验表明，他们中的大多数人在展示良好的社会智力的同时，很难充分认识到自己的能力和使命。最后，我们将LLM的意识与人工智能的一致性和安全性联系起来，强调其对LLM值得信赖和道德发展的意义。我们的数据集和代码在https://github.com/HowieHwong/Awareness-in-LLM上可用。

1 引言

2 相关工作

3 LLMs的意识

4 意识数据集：AWAREEVAL

5 实验

6 结论

在这项研究中，我们提出了AWAREBENCH