文本蕴含日记4——深度学习

1、深度学习的提出

深度学习的概念由hinton等人于2006年提出。基于深信度网（DBN）提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望。随后提出多层自动编码器深层结构。此外lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习方法也有监督学习与无监督学习之分，例如卷积神经网络（CNNs）是一种深度的监督学习下的机器学习模型，而深度置信网（DBNs）是一种无监督学习下的机器学习模型。

2、基础概念

（1）深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
（2）深度：从一个输入中产生一个输出所涉及的计算可以通过一个流向图来表示。流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值被应用到这个节点的孩子节点。
（3）人脑具有一个深度结构，认知过程逐层进行，逐步抽象。在许多情形中深度2就足够表示任何一个带有给定目标精度的函数，但是其代价是图中所需要的节点数（比如计算和参数数量）可能变得非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。
我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深的或者浅的架构。但是许多能够有效被深度架构表示的却不能被用浅的架构高效表示。
（4）例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。

• 人类层次化地组织思想和概念；
• 人类首先学习简单的概念，然后用他们去表示更抽象的；
• 工程师将任务分解成多个抽象层次去处理；

3、核心思想

把学习结构看作一个网络，则深度学习的核心思路如下：
① 无监督学习用于每一层网络的pre-train；
② 每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；
③ 用监督学习去调整所有层；

4、五个能力级别

（1）C
C（Classification only），即只能做分类。涉及到的系统包含全链接神经网络（FNC）、卷积网络（CNN）以及它们的各种组合。这些系统采用高维向量作为输入并实现单个结果，通常是输入向量的一个分类。你可以把这些系统当做是无状态函数，这意味着当前的行为仅仅是输入的一个函数。生成模型也是热门研究领域中的一员，也归于此类。简而言之，这些系统本身都是相当有能力的。
（2）CM
CM（Classification with Memory）,理解成在分类的基础上进行记忆。该级别包括与C级网络合并的存储器元件，例如LSTM，其中存储器单元被嵌入在LSTM节点内部。其它变体则是来自DeepMind的神经图灵机（NMT）和可微分神经计算机（DNC），它们在计算时都处于维护状态。
（3）CK
CK（Classification with Knowledge），即可以形成自己的知识系统，该级别与CM级别有点类似，但不是原始存储器，C级网络能够访问的信息是符号知识库。实际上，我们发现了三种符号集成：一种是转移学习方法，一种是自上而下方法，最后一种是自下而上的方法。第一种主要是作为正则化矩阵的符号系统，第二种方法处于层次结构的顶部，具有在底部由神经表示构成的符号元素；最后一种则与第二种方法相反，其中C级网络实际上被附加在了符号知识库上。
（4）CIK
CIK（Classification with Imperfect Knowledge）,可以对不完整的知识库进行分类。该级别系统建立在CK之上，但是能对不完整信息进行推理。该级别的典型例子是AlphaGo和扑克系统，这些系统可以通过对自身模拟来训练自己。
（5）CCIK
CCIK（Collaborative Classification with Imperfect Knowledge），即可以对不完整的知识库进行分类并且可以互相协作。这个级别与“心理理论”非常类似，实际上，我们有多种代理神经网络组合来解决问题，这些系统旨在实现多个目标。我们在对抗网络上做过这个原始版本，通过执行泛化的竞争鉴别器和生成网络将这个概念进一步扩展到游戏理论驱动的网络，能够执行战略和战术解决多个目标。

每个级别都有其不同的功能产生，例如，C级系统只能够预测anti-causal关系，CM拥有非常好的翻译能力，CIK级别系统能够进行战略游戏。