关于《on intelligence》和numenta

很久很久以前，在学生时代，在网上无意中翻到一本书《on intelligence》,当时看得热血沸腾（可能和很多看科幻小说的人的感觉差不多）。

那时完全只是凭兴趣看完了那本全英文书，来回看了几遍，最终理解书中所阐述的核心思想。

这本书主要是在描述一种思想或一种模型，是一个关于智能的模型。

我们都知道人的智能行为来自于大脑，更确切的说，源自于由庞大数目的神经元组成的神经网络。（记得一部科普纪录片中说过的一句话，当前最复杂的事物有两个：一个是宇宙；另一个是人的大脑；上帝馈赠了人类一个过于超前的礼物，以至于到现在，人类都还远未理解它。）

写这本书的作者是jeff hawkins，从事神经学科领域研究，同时也是palm os的创始人。hawkins依据自己领域的研究，总结出了一个关于模拟人类智能行为的模型：

1，智能模型是分层的；

2，每一层都对来自下一层的输入数据进行学习抽象，把输出传给上一层；

3，不同的智能行为（比如视觉、听觉、触觉）对应的模型都一样，学习规则也一样；

在hawkins写完这本书之后，创办了一家公司叫numenta，专门从事这个类似人脑的模型的研究，并开发出了产品。早期的时候，还公布了相关的算法细节和一些sdk，供开发者使用。numenta模型除了具备以上三个特点外，还强调了temporal和spatial结构的学习，temporal结构可以理解为时间序列结构，spatial结构可以理解空间结构。比如，视频影像中，每一帧图像内部像素点的依赖关系所对应的结构称为spatial structure，而相邻帧之间的依赖关系所对应的的结构称为temporal structure。这两种类别的structure并不只存在于vide或视觉中，其它的比如听觉、触觉等等都具有这两种结构。在每层节点表示底层数据的时候，都采用了sparsity约束（模拟生物神经学观测到的实验结果），即任一输入数据只会激活少数的几个节点，且任一节点大部分时候处于非活跃状态，前者称为population sparsity,后者可以称为temporal sparsity（这个称呼可能有问题，忘记了）。numenta采用的神经元模型与经典的不太一样，单个神经元能根据之前的输入预测将来的输出，也就是说它是一个时变系统吧。

这本书有几个地方给我的印象比较深刻：

1，人的多种智能行为（视觉、听觉、嗅觉等等）可以通过一种模型来实现。同一种模型，给它不同的数据，能得到不同的智能行为。在这种层状模型的最高层，是允许把来自不同数据源的数据进行综合的。比如视觉、听觉这些不同类型数据，在经过多层模型的抽象和表示后，被呈现到网络的高层，高层不加区分地统一处理数据。这样高层节点能对这些数据统一对待，就有可能做综合学习，比如综合视觉和听觉的高层数据规律，学习到任何单个输入数据都学习不到的更高层的新概念或新规律。

2，是否具备智能不能单靠图灵测试来完成。因为图灵测试只是通过从外在行为来描述智能的。具体点就是说，图灵测试是通过向被测试者问问题，依据其回答来判断是否具备智能。hawkins认为我们应该深究行为背后的机制或动因。

之所以想把这些东西写下来，是为了在多少年再回顾的时候，能有迹可循，知道自己都做过些什么，希望以后也能坚持下去。