论文笔记-How universal can an intelligence test be?

• 论文题目：How universal can an intelligence test be?
  
  • 论文作者：DL Dowe ， Hern ， J Ndez-Orallo
  • 论文地址

---

一、论文概述

• 通用智商测试最近被提倡为一个统一、综合的评估人类、非人类动物和机器的方式。在本篇论文中，作者将关于通用智商测试是否可行的问题重新表述为在主体、界面和分辨率方面通用智商测试可以如何进行的问题。
• 作者在几个水平上讨论了通用测试的可行性和难度：通信环境、决议、奖励机制或代理本身。作者认为这样的测试必须是高度自适应的，即根据评估的代理是如何反应或执行任务、决议、奖励机制和通信来调整。
• 作者认为可以通过分析不同层次的通用性特征来分析通用性，并将寻求通用性测试作为一个渐进过程而不是绝对目标。

---

二、背景介绍

1. 各样环境：关于智商的定义普遍认为是能够在各样环境下成功生存/运行的能力，这种能力是指对于新环境的自适应力，而不是指能够成功运行在各种环境，这种能力通过进化获得。
2. 智商： intelligence智力or智能，现在普遍认为智商不是仅有人类具有，越来越多的生命形式被认为具有某种或一定程度的智商。现存的机器的智能行为存在着普遍争议：这种行为是真正的智能行为还是只是预先设定好的程序？
3. 通用测试：指通用智商测试，可以以任何速度对任何种类的受试者进行测试，并在任何时间内中断。
4. 被测体：受试者可以是机器、人类、非人类、植物或其他自然、人工或混合系统。

---

三、提出问题

论文中，作者以更抽象的方式分析了通用智商测试的概念，并分析了智商测试的通用性。特别回答了以下几个问题：

1. 测试是否可以覆盖任何种类的自然或计算对象，在任何信号分辨率和时间速率下运行？
2. 我们应该考虑哪些方面的解决方案？
3. 接口对于通用测试的重要性？
4. 怎样衡量我们难以检测的受试体的智商？
5. 我们是否需要通过智商来检测和衡量其他受试体的智商？
6. 测试的泛化对有效性、可靠性和效率有何影响？

---

四、论文内容

4.1空间认知能力
认知系统是一种复杂的系统，通常让人难以理解，所以在本文中作者使用了心理状态和能力来描述它们。

• 认知能力并不能够完全描述被测体或是对其进行完全预测，而是判断被测体能够做什么，至少在某种认知任务上是这样。
• 在认知任务中，正确或合理地处理心理信息对于能否成功执行是至关重要的。能力是以能做某件事来定义，即一类认知任务。从能力与任务之间的关联可以看出，通过合并两个认知任务类可以得到一个更一般的认知任务类和更一般的能力。
• 关于精确定义智商的一个问题是，人们通常将它与头脑和意识联系起来。
• 认知测试用来测量认知能力，通常由定义能力的任务类的实例组成。举例来讲，记忆通过记忆测试进行测量，记忆测试由各种记忆任务组成。类似的，智商通过智商测试来测试，该测试由各种任务组成，例如IQ测试。

---

4.2不同的被测体，不同的测试
智商现在通常会与自然界中的物种多样性联系在一起，这种多样性远不止是人类和动物，包括植物、真菌、细菌、基因组、免疫系统以及代谢系统在内都被认为存在intelligence。在本文中，作者对评估这些系统认知能力的测试进行了简要的概述。

• 心理测试学是最成熟的智力评估学科，但也是最以人类为中心的测试方法。
• 以一般的方式评估认知能力的方法里面，比较心理学是其中一个。任何物种都可能是比较心理学的研究对象，但是大多数的研究都致力于研究复杂的认知过程，例如哺乳动物、鸟类等。同时实验的简易性也是需要考虑的一个因素，这就是为什么大多数实验对象为老鼠。
• 在心理测试学中，动物认知通常与任务和实验相关而不是测试，这些任务被用来检测和评估”基本过程“，例如感知、注意力、记忆、联想学习和概念辨析，以及更复杂的身体或社会能力。
  

  ---

4.3通用测试的实现：接口
以前的许多提案都以不同的方式使用和理解了“通用分布”一词，通常是诸如通用图灵机之类的概念，或者用“通用分布”一词来表示任何单列加权先验分布。然而，在这个项目中，“通用”一词有一个更普遍的含义，它指的是测试对任何类型的个体的适用性。

• 通用测试的主要特点是任务必须完全相同，而接口必须针对每个个体进行定制。换句话说，通用测试由一个任务和无限多个可能的接口组成。
• 一般情况下，接口必须注意每一种传感器的运动特性，包括动物和植物中的化学传感器等其他传感器，以及机器的各种数据转换。过去，许多失败都是由于对动物(和计算机)应该如何相互作用的重大错配和误解造成的，我们的接口中存在强烈的以人类为中心的偏见。
• 关于通用智力测试概念的一个重大问题是测试是否能够评估一个完全未知的智能体。真正的通用测试应该试图找到最好的界面（信号、时间、分辨率、奖励），从而获得最佳的分数，而不提供手头任务的更多信息。