弗朗索瓦·肖莱关于智能度量 - 第 3 部分：数学（论文解释）

这段文字主要介绍了François Chollet提出的关于人工智能系统智能的正式定义。

Chollet 将智能定义为：一个系统在特定任务范围内，相对于先验经验和泛化难度，学习技能的效率的衡量指标。

具体而言，他认为：

• 智能的衡量指标是技能学习效率： 系统学习新技能的速度。
• 任务范围： 衡量的是系统在人类可以解决的特定任务范围内学习技能的效率。
• 先验经验： 系统预先内置的知识和能力不计入智能，因为它们不需要学习。
• 经验： 系统在特定任务上的大量经验也不计入智能，因为它们可以代替学习。
• 泛化难度： 任务本身的难度越高，在该任务上取得好成绩就越需要更高的智能。

Chollet 将用具体的数值来定义这些因素，从而最终得到一个能够衡量任何系统智能的指标。

这段文字还简单介绍了Chollet提出的系统模型：任务输出一系列情况（相当于机器学习中的训练样本），智能系统接收这些情况并做出反应。

在本部分，我们将探讨智力衡量的正式定义。为此，我们必须用算法复杂性的概念来构建和量化泛化难度、先验知识和经验。概述：0:00 - 简介和回顾2:50 - 概念模式10:00 - 算法复杂性13:00 - 定义15:25 - 泛化难度18:55 - 开发者感知的泛化难度22:40 - 先验知识25:10 - 经验30:50 - 智力衡量38:00 - 理想的智力基准42:30 - 结论论文：https://arxiv.org/abs/1911.01547
摘要：为了朝着更智能、更像人的人工智能系统取得有意的进展，我们需要遵循一个适当的反馈信号：我们需要能够定义和评估智力，以便能够比较两个系统，以及与人类进行比较。在过去的一百年中，在心理学和人工智能领域，人们尝试定义和衡量智力，尝试不计其数。我们总结并批判性地评估了这些定义和评估方法，同时揭示了隐含地指导它们的两种智力历史概念。我们注意到，在实践中，当代人工智能社区仍然倾向于通过比较人工智能和人类在特定任务（如棋盘游戏和电子游戏）中展现的技能来衡量智力。我们认为，仅仅衡量任何给定任务的技能不足以衡量智力，因为技能受先验知识和经验的很大影响：无限的先验知识或无限的训练数据允许实验者以一种掩盖系统自身泛化能力的方式，为系统“购买”任意级别的技能。然后，我们基于算法信息论，阐述了智力的一个新的正式定义，将智力描述为技能获取效率，并强调范围、泛化难度、先验知识和经验的概念。利用这个定义，我们提出了一组关于通用人工智能基准应该是什么样子的指南。最后，我们提出一个紧密遵循这些指南的基准，即抽象和推理语料库 (ARC)，它建立在旨在尽可能接近人类天生先验知识的显式先验知识集合之上。我们认为，ARC 可用于衡量一种类似于人的通用流体智力，并且它能够在人工智能系统和人类之间进行公平的通用智力比较。