《Deep Learning》译文 第一章 前言(下) 神经网络的变迁与称谓的更迭

1.2.2不断增大的数据库

 

        人们可能会有这样的疑问，既然第一个人工神经网络的实验早在20世纪50年代就被实施了，为什么只是在最近深度学习才被视为一个重要的技术呢？这是因为虽然深度学习从20世纪90年代就被成功地应用在商业中，但是人们更倾向于将其视为一种艺术而不是一门技术，而且是一种只能被少数专家掌握的艺术品。毋庸置疑，好的技巧往往可以使深度学习算法产生好的结果，而幸运的是，随着训练数据规模的增大，深度模型对于训练技巧的要求逐渐降低。目前，在一些复杂任务上得到了接近人类表现的学习算法其实与20世纪80年代提出的用于解决简单问题的算法十分相近，尽管为了简化训练的过程这些算法经历了许多变化。现今最重要的优势是我们有能力提供足够多的资源去促使深度模型的成功。图1.8展示了基准数据库规模随时间显著增长的过程。越来越数字化的社会促使训练数据规模不断增大。随着人类活动越来越多的通过计算机来完成，可供使用的电子记录也就越来越多，而互联网的普及，使得我们对这些记录的集中处理变得更简单了，并且由此组建用于机器学习的数据库也容易了许多。“大数据”时代的到来使得机器学习变得更加简单了，因为它在很大程度上满足了统计估计对于样本规模的依赖，因此它使得很多机器学习算法具有了很强的泛化能力。直到2016年，有这样一个粗略的经验：对于有监督的深度学习模型来说，要想得到能说得过去的表现，那么每一个类至少需要5000个有标注的样例；要想得到能与人类表现相媲美的结果，至少要有一个含有1000万样本的数据库。在小规模数据集上得到好的结果是一个重要的研究方向，它关注的是我们如何使用无监督或者半监督的学习方法将大量未标注的数据利用起来。

图1.8随时间而不断增加的数据规模

 

1.2.3不断增大的模型尺寸

 

        相比于20世纪80年代，神经网络在今天取得广泛成功的另一个关键原因是我们有了足够的计算资源去训练更大的模型。联系论的一个主要观点是当神经元协同工作时动物们才能表现出智能，而单独的神经元或者小的神经元集合并不能有上述效果。

        其实生物中的神经元之间没有特别稠密的连接。然而，如图1.10所示，在数十年的时间里机器学习模型中的每个神经元连接数目竟然和哺乳动物大脑中每个神经元的连接数在同一个数量级！

图1.10 单个神经元连接数随时间的变化

 

         而与生物大脑中的神经元总数相比，神经网络模型中的神经元总数出奇的少，图1.11描述了这种情况。自从引入了隐藏单元，人工神经网络的规模平均每2.4年就要翻一番，这种增长离不开内存更大的、计算速度更快的计算机与大规模数据库的支持。大规模的网络往往有能力在更复杂的任务中得到好结果。这种趋势看样子还要持续几十年。除非有允许快速扫描的新科技出现，人工神经网络的神经元数量才能在至少21世纪50年代前比人脑神经元数目少。生物的神经元可能有着比现有人工神经元更复杂的激励函数，因此生物学神经网络可能比我们目前所了解的还要大。

图1.11 神经网络的规模随时间的变化

 

         一个比水蛭的神经元还少的神经网络是无法解决复杂人工智能问题的。即使在今天看来计算量很大的一个神经网络，依然比类似于青蛙这样的相对原始动物的神经系统要简单许多。

        更快的CPU，GPU、更快的网络连接和更好的分布式计算架构的出现为促使模型的规模在不断地增大，而这正是深度学习发展史中最重要的发展趋势之一。大家普遍认为此趋势依然会保持一段时间。

 

1.2.4 不断增长的准确率、复杂度和对真实环境(real-world)的影响

        自从20世纪80年代以来，深度学习模型的识别和预测能力有了连续的提升。人们也将深度学习这门技术成功地应用在了越来越广泛的应用中。

        最早期的深度模型只能识别经过严格裁剪、尺寸很小的图片中的单个物体（Rumelhart et al.,1986a）。此后，神经网络渐渐地能够处理越来越大的图片。用于物体识别的现代网络已经能处理分辨率很高的图片，而且并不要求物体一定要处于图片的中心（Krizhevsky et al.,2012）。同样，早期网络只能处理二分类问题，而现代的网络已经可以识别至少1000个不同的物体类别。物体识别的最大的竞赛：图像网络大规模视觉识别挑战（ILSVRC）每年都会被举办，而卷积网络的第一次获胜则是深度学习发展过程中一个重要的里程碑，这种网络的表现超过了当时最好的算法，其top5错误率从26.1%到15.3%(Krizhevsky et al.,2012)；15.3%可以这样理解：卷积网络对于每一张图片都会产生一个预测结果表，这个表中的每个预测结果以概率由高到低排列，对测试集的每一张图片来说，在表中前五项均被错误预测的概率为15.3%。从那以后，深度卷积网络在这类竞赛中一直独占鳌头，并且当我们写这本书的时候，最先进的深度学习技术已经将top-5错误率降低到了3.6%，如图1.12所示。

图1.12 错误率随时间不断下降

 

        深度学习在语音识别领域也产生了很大的影响。20世纪90年代语音识别获得了显著提升，然而，其准确率自2000年开始停滞不前。深度学习的引入(Dahl et al.,2010;Deng et al.,2010b;Seide et al.,2011;Hinton et al.,2012a)，使得语音识别的错误率有了显著的下降，有些模型的错误率直接就下降了一半。

        深度网络在行人检测和图像分割的任务中(Sermanet et al.,2013;Farabet et al.,2013;Couprie et al.,2013)也取得了明显的成功，并且在交通标志分类任务中其表现已经超过了人类(Criesan et al.,2012)。

        深度网络的规模和准确率在不断提升的同时，其能够处理的任务也越来越复杂。Goodfellow et al.(2014d)展示了神经网络可以通过学习使用完整的语句去描述一幅图片，而不仅仅是简单地识别。以前，大家曾普遍的认为训练这种网络需要训练集的标记是序列类型的(Gulcehre and Bengio,2013)。循环神经网络，现在被用来对序列之间的关系建模，其输入不再是固定的了。这种序列对序列的学习是解决机器翻译的重要途径。(Sutskever et al.,2014;Bahdanau et al.,2015).

        复杂度不断增长的趋势加速了神经网络图灵机的引入(Graves et al.,2014a)，这种图灵机能够学习如何从内存中读写数据，它能够从有行为信息的例子中学习到简单的算法。比如说，它们能从给定的有序序列中学习对数字的排序。这种自编程技术尚处于起始阶段，但有了足够的发展后，从原则上说它能够应用到任何任务中。

        深度学习的另一个显著成就是它在增强学习领域的成功应用。所谓增强学习，即在没有任何人类干预的情况下，算法自行通过反复的尝试去逼近一个目标函数。DeepMind团队认为基于深度学习的增强学习系统能够学会如何玩Atari视频游戏，而且能在许多任务中表现出接近人类的水平(Mnih et al.,2015)。深度学习在很大程度上提升了增强学习在机器人学的表现(Finn et al.,2015)。

        深度学习的许多应用是很有市场的。许多尖端科技公司早已着手将它应用在日常生活中，这些公司包括：Google,Microsoft,Facebook,IBM,Baidu,Apple,Adobe,Netflix,NVIDIA和NEC.

        深度学习相当大程度上依赖于软件基础设施的发展。一些软件库，比如，Theano(Bergstra et al.,2010;Bastien et al.,2012),PyLearn2(Goodfellow et al.,2013),Torch(Collobert et al.,2011b),DistBelief(Dean et al.,2012),Caffe(Jia,2013),MXNet(Chen et al.,2015),和TensorFlow(Abadi et al.,2015)都能支持一些重要研究课题的进展或者商业的运作。

        深度学习对其他学科也有贡献，用于识别物体的卷积网络为神经学家们提供了研究视觉处理的模型(DiCarlo,2013)。深度学习为处理大数据提供了有效的工具，而且可以在一些科学领域做有效的预测，人们已经成功地利用它进行分子相互作用的预测，以此来帮助医药公司设计新药品(Dahl et al.,2014)；还有亚原子粒子的搜索(Baldi et al.,2014)，用于人脑3D重建的显微图像的自动解析(KnowlesBarley et al.,2014)等等。我们期望深度学习能在越来越多的研究领域中发挥光和热。

        总体来说，深度学习是机器学习的一种方法，它被设计之初很大程度上依赖于人类对大脑的认知、对统计学以及应用数学的理解。近几年，得益于电脑的计算能力的提高、大规模数据库的出现和训练技巧的普及，深度学习的流行程度与实用性得到了巨大提升。在未来几年，深度学习要想“百尺竿头更进一步”依然是充满了挑战与机遇！