花书笔记1-前言-一些概念-几个类别

AI（artificial intelligence ）专家Carlos Perez提出按能力划分AI的五个等级：

1. 只能分类的系统（ANNs/DL）

   包含链接神经网络（FCN）、卷积神经网络（CNN）和他们之间的各种组合。这些系统把一个高纬度矢量作为输入，得到单个结果，一般是对输入矢量的分类。可以将这些系统堪称无状态函数。一个热门研究领域“生成模型”就属于该类别。简单地讲，这些系统凭他们自己是十分强大的。

2. 使用记忆分类系统（CCM）

   包含“C层”网络中整合的记忆因素。LSTM就是一个例子：记忆单元嵌入在LSTM节点中，其他类似的变形还有，神经图灵器（NMT）和DeepMind的可微分神经计算机（DNC）。在对行为进行计算时，这些系统会维持状态恒定。

3. 使用知识分类系统（CK）

   与CM有些相似，但C层网络能获取的信息不是原始内存，而是符号化的知识库，Carlos Perez 就发现了三种符号化整合：1. 转移学习方式2. 自上而下方式3. 自下而上方式。

   第一种方式用一个符号化系统作为正则化矩阵。

   第二种方式在神经表征底层的最上层加入了符号化元素

   第三种方式跟这相反,C层网络直接与符号化知识库关联

4. 使用有限的知识分类（CIK）

   系统直接建立在CK上，但是它已能够使用不完美的信息推理。

   这类系统的代表是Alpha Go。只是其采用的不是CK而是CM级别的能力。正如Alpha Go，这类系统能够通过与自身的对抗模拟来训练自己。

5. 能使用有限知识协作分类的系统（CCIK）

   与Arend Hintze的“心智理论”类别十分近似，多个代理神经网络联合起来解决问题。这些系统被设计来完成多想目标。我们其实可以在对抗网络中运行它们的原始版本，与判别器和生成网络一起学习归纳，在博弈论驱动的能够战术性解决多重问题的网络上应用该概念，就能得到高度灵活的系统。但是马伟明现在还达不到这个水平，前面那些级别仍需要很多研究来完善。

    

   机器学习 包含 深度学习

    

   大牛Yann LeCun :“假设机器学习是一个蛋糕，强化学习是蛋糕上的一粒樱桃，监督学习是外面的一层糖衣，无监督学习则是蛋糕糕体。我们知道怎么做樱桃和糖衣，却不知道怎么做糕体。”

   Yann LeCun开始用预测学习来替代无监督学习。

   AI进步的主要障碍：

1. 机器需要能够海量背景知识

2. 机器需要能够感知环境的状况

3. 机器需要能够更新并记忆环境的状况

4. 机器需要能够学习和计划

    

   元学习技术带来的主要启示是：当我们能训练机器找出用其他方法找不到的解决方案，研究方法会变得更强大。

    

   深度学习的神经观点受两个主要思想启发：

1. 大脑作为例子证明只能行为是可能的

2. 理解大脑和人类智能背后的原理，对今后有所帮助

    

    

   深度学习的三个浪潮：

1. 控制论

2. 联结主义“并行分布处理”

3. 深度学习

   联结主义：

   认知科学：研究符号推理模型

   分布式表示：每个输入有多个特征，每个特征参与多个可能输入的表示。