大模型的局限性调研

概述

这篇文章研究的背景是关于大型语言模型在人工通用智能领域的不足之处。

过去的方法主要使用标准化测试和以能力为导向的基准评估大型语言模型(LLMs)，但是这些评估方法存在一些问题，容易夸大LLMs的能力。作者提出了人工通用智能应包含LLMs能力之外的四个特征，并指出了当前评估方法的问题。

本文提出了知行统一的研究方法，强调通过与真实世界中的物体的积极互动可以提供更稳健的信号形成概念性表征，知识获取不仅仅依赖于被动输入，还需要反复试错。

本文未涉及具体任务和性能的达成，而是探讨了人工通用智能领域的研究问题和未来发展方向。因此，没有提供具体任务的性能结果。

重要问题探讨

1. 评估方法中的评价指标差异是否会影响对LLMs能力的认知？基于上文所述，作者指出评估指标的选择可能会对LLMs的能力产生较大的影响。那么，我们是否可以通过使用不同的评价指标来获得更全面和客观的LLMs能力评估结果？

答：根据上文所引述的Schaeffer等人（2023）的研究，评估指标可能会导致我们对LLMs能力的认知产生变化。对于一个非线性评价指标，例如xn，曲线上稀疏采样的点可能会使我们觉得出现了新的行为模式；然而，对于一