神经网络和深度学习简史（一）

        “深度学习这一朵浪花在计算机语言学的海上已经被研究了多年，但2015年似乎有一股海啸般的力量把自然语言处理（NLP）推到了世人面前”-----------Dr. Christopher D. Manning, Dec 2015 [1]

        科研某一个领域的所有已知方法被一种突如其来新发现而完全取代，如同被“海啸”袭击了一样，这听起来像是一个奇异的故事。然而这种灾难性的比喻用来形容近几年的深度学习再恰当不过了，在过去的几年中，深度学习被广泛的应用在解决复杂的人工智能（AI）问题。机器学习的发展的背后是由类似谷歌一类的工业巨头的资助下，以及在呈指数增长的机器学习论文（以及研究人员）的共同推动的。在学习了一些机器学习的课程并把用在了我的本科研究之中，我不禁在思考，机器学习到底是可以满足一切的幻想还是仅仅是人工神经网络的放大版本。众所周知，人工神经网络在上世纪80年代就已经被提出来了。接下来让我们一起揭开深度学习神秘的面纱，来体会这个超越了大规模人工神经网络的故事，一个由坚持着梦想的学者们，透过几十年的黑暗重新寻回神经网络以及机器学习的艰辛梦想。

一、线性回归

图1.1 上个世界末的机器学习算法（线性回归）：

       简单的介绍一下什么是机器学习，在二维平面上随机画出一些点，并画出一条适合这些点的直线。这就完成了从有限的成对输入(x)输出(y)值中确定普遍适用的一般函数的过程。这一过程一般被称为线性回归(Liner Regression),它是一个已经流传了200年的精妙小工具，它可以由一组输入-输出来推断一般函数。奇妙之处在于：对于无法直接建立函数却容易收集输入输出的方程，我们可以估测其表达式的形式。例如，现实生活中音频输入与语音输出直接映射函数。

        线性回归并不能很好的解决语义识别的问题，但它的本质是一个监督学习模型。所谓监督学习就是：学习一个函数给定的训练集，训练集中每一个值都是函数的一对输入输出值，通过机器学习的方法可以获得一个预测函数，这个预测函数可以推广到不在训练集中的其他值，因此就可以用来预测未知输入到输出值。例如谷歌的语音识别技术由机器学习训练了大量的训练集，但是该训练集并不可能涵盖所有的语音输入，而手机却可以理解你的语音输入。   

        这种推论十分重要，因为与训练集相对应，总有一组不属于训练集的测试数据集合存在(其本质是更多的输入-输出示例)。这些测试集合通过判断计算结果正确与否来检测机器学习技术的有效性。过度的训练的结果是可能出现的过拟合现象——机器学习技术对于训练集十分有效，但对于测试数据则会出现严重失真。由于机器学习的研究人员需要一个标准来判断其方法的有效性，用于评估机器学习算法有效性的标准训练集和测试集就逐步出现了。

        上述的例子只是一个简单的监督模型的机器学习的例子：点是训练集(x是输入，y是输出)，而红色直线所代表的函数就是预测函数，我们可以用这个函数来预测训练集以外的未知输入的输出。接下来我们将要进行更进一步的理解。

二、AI的寒冬

       本文是讨论机器学习的文章，为何要以线性回归作为本文的开篇序言呢？科学界普遍认为，线性回归正是第一个让机器学会学习的思路，那么我们就不能不谈到Frank Rosenblatt和他的感知机[2]。

图1.2感知机工作原理

        心理学家Rosenblatt提出假设，认为感知机是一个简化的描述人类大脑中神经元的数学模型：它的输入是一组二进制输入（附近的神经元），每个输入都需要一个权重（附近神经元的突触强度），输出的结果通过一个阈值进行判断，如果超过阈值则输出1，否则输出0。感知机的输入大多数是数据或另一个感知机的输出，除此之外，感知机还有一个特殊的偏差输入，该偏差输入只有一个为“1”的值，用来确保同一个输入被抵消和值还可以可以被多个函数计算。这个神经元的模型是建立在Warren McCulloch和Walter Pitts Mcculoch-Pitts[3]的研究基础之上。这样的一个计算多个二进制输入的和值并阈值判断输出为1或0的神经元模型，可以基本建立一个与／或／非懂函数模型。这是人工智能（AI）早期的大事件，当时的主流思想是计算机能过通过逻辑推理的形式解决AI问题。

图1.3 生物灵感。激励函数是对于非线性函数进行加权操作以产生人工神经元的输出。在Rosenblatt感知机中，该函数值进行阈值操作。

        然而Mcculoch-Pitts的模型缺乏学习的机制，这对于这个模型能否应用到AI领域是十分重要的。而这正是Rosenblatt的感知机擅长的地方。这灵感来自于Donald Hebb的基础研究工作[4]，Hebb的想法奇妙之处在于，人类的认识和学习发生在大脑神经元之间突触的形成和变化——简称Hebb规则：当细胞A的突触足够接近细胞B足以对细胞B产生激励或者持续参加激励的时候，在细胞A或者AB两个细胞之间会产生一些生长或代谢变化，似的细胞A对细胞B的影响加大。

        感知机没有完全的遵守这个想法，但是对于输入的权重采取一种非常简单直观的数学方案：对于给定输入输出示例的训练集，感知机应该“学习”每一个输入来得到一个函数，如果感知机