深度学习帮助人工智能走得更远

说深度学习就不得不提Geoffrey Hinton。

一、Geoffrey Hinton是何许人？

Geoffrey Hinton是Deep Learning（深度学习）方面的领军人物，是世界上机器学习与人工智能领域杰出研究者之一。

Geoffrey Hinton是英国剑桥大学实验心理学学位获得者，后来获得人工智能博士学位，他同时也是伦敦大学Gatsby神经计算科学部门的创始董事。他研究利用神经网络的学习、记忆、知觉和符号处理的方法而闻名世界，并在这个领域有超过200种出版物。

Geoffrey Hinton目前主要研究领域包括现代科学尖端领域的机器学习，以及机器如何在庞大、复杂的数据中执行辨认功能，他在这些方面的领先研究帮助谷歌在神经网络学习以及语音方面前进了不止一大步。

二、Geoffrey Hinton和深度学习

深度学习简介

深度学习概念最早由Geoffrey Hinton等人在2006年提出。它是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

基础概念

深度(Depth)

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有孩子，输出节点没有父亲。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。

需要使用深度学习解决的问题有以下的特征：

深度不足会出现问题。

人脑具有一个深度结构。

认知过程逐层进行，逐步抽象。

深度不足会出现问题

在许多情形中深度2就足够表示任何一个带有给定目标精度的函数。但是其代价是：图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。

我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深地或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。

大脑有一个深度架构

例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联，因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。

需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地(指数级高效)表示。

认知过程逐层进行，逐步抽象

人类层次化地组织思想和概念；

人类首先学习简单的概念，然后用他们去表示更抽象的；

工程师将任务分解成多个抽象层次去处理；

学习/发现这些概念(知识工程由于没有反省而失败？)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。[1][3]

深度学习的核心思想

把学习结构看作一个网络，则深度学习的核心思路如下：

①无监督学习用于每一层网络的pre-train；

②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；

③用监督学习去调整所有层

三、深度学习的成功应用

1、  语音识别

微软研究人员通过与hintion合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。

2、  智能手机的语音搜索

2012年，Google的Android操作系统中的语音识别突飞猛进，正是因为深度学习的关系。因为深度学习神经网络允许对语音做更精确的训练，所以使语音识别的成功率大大提高，尤其是在嘈杂的环境中，语音搜索结果也有了不小的改善。一夜之间，智能手机语音识别系统的错误率就下降到了25%，这让不少评论人士觉得Android手鸡的语音搜索要比苹果的Siri更智能。

3、  图片识别

去年6月，Google演示了有史以来最大的神经网络，这一网络上拥有超过10亿个节点，并成功从YouTube视频中提取了1000万张画面上带猫的图片，使YouTube视频分类达到16%的准确度。这个数字虽然看起来很小，但是已经比上一代系统提高了70%。需要注意的是，YouTube的系统所用的深度学习是将视频分到22000个分类中，许多分类连常人无法区分。而当把分类缩小到1000个时，系统识别的准确率瞬间提高到了50%。如果没有深层学习，Google的神经网络也就没有这么强大的功能。

深度学习，正在帮助人工智能走得更远！