HTM白皮书学习笔记（二）

本回我们主要介绍一下HTM的基本原则：Hierarchy、Regions、Sparse Distributed Representations以及时间在模型中起到的作用。

1.Hierarchy

一个HTM网络包含有很多被层次化组织的Regions。Region是HTM中负责记忆和预测的主要部件，留到下文分解。在层次化结构中，通常一个HTM Region表示一个level（level、hierarchy在这里表示一个意思，只是具体指定region时使用level）。当你从一个低的level region往高level region走时，信息是会收敛的（convergence），这也就意味着低level region中的几个元素在高level region中被表示成一个元素。然而由于有反馈的存在，当你由高往低时，信息会发散（diverges）。具体如下图所示：

根据上面的说法，我们可以将不同的HTM网络进行合并，比如如下图所示的系统，包含有两种不同的数据（音频和视频）。如果两个子HTM region均能收敛，提取出稳定的特征，那么高level的HTM region就能将其合并成一个模型。

层次化的好处之一是efficiency。由于低level HTM region中学习到的模式在高level HTM region合并中可以重复利用，这么做减少了训练时间和存储。我们一个视觉问题来解释这个问题。在大脑的视觉皮层中，存储着大量关于边缘和角度的小的视觉特征模式（同时边缘也是世界中很多的物体的基本组成部分）。这些低level小的特征模式在mid-level的皮层中被合并成物体的纹理以及外观特征（比如一个弧可以使一只耳朵的一部分，也可以是轮胎的一部分、同时可以使杯子把的一部分）。这些mid-level的特征在进一步合并，就形成了人认知到的头、车和餐桌。为了识别物体，你不需要重新学习它的组成部分。就像你在学习一个新单词的时候，不需要重新学习字母、音节和音素了。

2.Region

新皮层是一个大约2mm厚的神经元组织，生物学家将它按照功能分成了不同的区域，称之为region。尽管不同region之间的大小差别很大，但是它们在结构上是大体类似的。它们都包含有6层神经元，其中5层是细胞，1层是非细胞结构（有一些特别的情况，它是大部分情况是这样的）。每个皮质区域中，由很多内部高度互联的神经微柱（columns）构成。HTM region也采用类似的结构如下图所示：

3.Sparse Distributed Representations

尽管神经元在新皮质中是高度互联的，但是抑制神经元保证在某一时刻只有很小一部分神经元保持活跃状态。因此，信息在大脑中是采用稀疏表达的方式（Sparse Distributed Representations）。
HTM Region也采用稀疏表达的方式。那么HTM中的稀疏表达是如何实现的呢？举例说明，假设一个HTM Region输入20,000个bit，其中的0和1的个数随时间显著的变化。这个HTM Region可以将输入转化为只有2%的输出为1的1000个bit的内部表达。因为输入可以表达的信息的数目远远大于该Region所能表达的，所以看起来这个过程造成了信息的大大的损失。但是输入可以表达的信息的数目和该Region可以表达的模式数都是很大的数值，之后我们会介绍该Region是如何将输入转化为稀疏表达的，可以看到理论上信息的损失是非常小的。后面我们会介绍稀疏表达的一些重要的能力和在HTM中实现的必须性。

4.时间的作用

时间在模型中的学习、推理和预测（learning,inference and prediction）过程中起到很重要的作用。
我们从推理开始，举例说明假设你被蒙上眼睛，手上放上一个苹果，当你的手指在苹果上面移动的时候，触觉信息随时间在改变，一段时间之后你就能推理出这是一个苹果。如果，你只是将苹果放在手掌上，不让你的手指感受这个物体，你很难判断你手中的是苹果还是柠檬等别的水果。
然后是学习，假设你在观察一条向你跑来的小狗，每个时刻视网膜捕捉到小狗一种运动的模式。这个过程中你获得的是同一只小狗的不同的模式，在数学上这些模式是完全不同的。大脑可以通过观察同一物体一系列的运动方式，学习到该物体的运动模式。时间就是这个过程的监督者。
学习和识别不同的序列是建立预测模型的基础。一旦HTM学到了某些模式紧随另一些模式后面，它就可以预测出之后的输入是什么并把它反馈到输入中。
下回我们将介绍HTM的四种基本的功能。