大模型的局限性调研

概述

这篇文章研究的背景是关于大型语言模型在人工通用智能领域的不足之处。

过去的方法主要使用标准化测试和以能力为导向的基准评估大型语言模型(LLMs)，但是这些评估方法存在一些问题，容易夸大LLMs的能力。作者提出了人工通用智能应包含LLMs能力之外的四个特征，并指出了当前评估方法的问题。

本文提出了知行统一的研究方法，强调通过与真实世界中的物体的积极互动可以提供更稳健的信号形成概念性表征，知识获取不仅仅依赖于被动输入，还需要反复试错。

本文未涉及具体任务和性能的达成，而是探讨了人工通用智能领域的研究问题和未来发展方向。因此，没有提供具体任务的性能结果。

重要问题探讨

1. 评估方法中的评价指标差异是否会影响对LLMs能力的认知？基于上文所述，作者指出评估指标的选择可能会对LLMs的能力产生较大的影响。那么，我们是否可以通过使用不同的评价指标来获得更全面和客观的LLMs能力评估结果？

答：根据上文所引述的Schaeffer等人（2023）的研究，评估指标可能会导致我们对LLMs能力的认知产生变化。对于一个非线性评价指标，例如xn，曲线上稀疏采样的点可能会使我们觉得出现了新的行为模式；然而，对于一个线性评价指标，我们可能无法观察到这样的现象。因此，通过使用不同的评价指标，我们可以获得对LLMs能力的不同角度的评估，进而获得更全面准确的结论。

2. 互联网规模的训练数据集可能会对LLMs的评估结果产生什么影响？根据上文所述，由于大规模训练数据集可能涵盖了用于后续评估的数据集，因此评估结果可能不够真实和可靠。然而，我们如何解决这个问题并确保LLMs的评估结果具有普适性？

答：正如上文所提到的问题，训练数据集的来源问题可能会导致LLMs的评估结果不够准确和可靠。要解决这个问题，我们可以有以下几种方法：首先，可以通过改变评估数据集的来源，避免与训练数据集产生重叠；其次，可以采用外部数据集来进行评估，以确保评估结果的普适性；最后，可以通过增加评估指标，包括可解释性和对特定任务的评估，来提高LLMs评估的全面性。

3. LLMs与人工智能的一般智能（AGI）之间存在哪些差距？根据上文所述，作者认为LLMs与AGI之间存在较大差距。那么，为什么我们认为LLMs还没有达到AGI的水平？又有哪些特征是AGI具备而LLMs缺乏的？

答：根据上文所列的四个特征，我们可以看出AGI与LLMs之间的差距。其中，一般智能代理应该能够在动态的物理和社会空间中执行无限多的任务；而LLMs由于缺乏这种自动生成任务的能力，无法满足这一特征。此外，AGI还具备价值系统和世界模型的特征，而LLMs在这两方面也存在较大的不足。因此，我们认为LLMs还没有达到AGI的水平。

4. 在研究AGI时，我们应该采取怎样的视角？根据上文所述，作者提出了行为主义的视角来研究AGI。那么，为什么行为主义的视角有助于探究AGI？相比于其他视角，行为主义视角有哪些优势？

答：行为主义的视角对于探究AGI有助于从行为的角度出发，观察智能代理在动态的物理和社会空间中的行为表现。这种视角有助于我们更直接地观察和评估智能代理的能力。相比于其他视角，行为主义的优势在于关注实际的行为结果，而不仅仅停留在内部的认知和推理过程。行为主义的视角可以通过对智能代理在任务中的表现进行实际观察和评估，从而提供更直接和客观的结果。

5. 如何评估一般智能代理的能力？根据上文所述，一般智能代理应该能够在动态的物理和社会空间中执行无限多的任务。但是，如何判断一个代理实际上是一般智能的？在评估一般智能代理的能力时，应该使用怎样的方法和标准？

答：在评估一般智能代理的能力时，可以采用以下方法和标准：首先，可以对代理在不同领域或任务上的表现进行综合评估，通过多个任务的表现来判断代理是否具备一般智能能力；其次，可以引入具有挑战性的任务，检验代理在复杂、未知和动态环境中的适应能力；最后，还可以考虑代理的学习能力和创造性，评估其是否能够生成新的任务和解决新的问题。通过多个角度的综合评估，可以更全面和客观地判断一般智能代理的能力。