神经网络和深度学习简史（四）

        “问问机器学习从业者，究竟是什么还在维持着奄奄一息的神经网络？你可能会听到以下三个人名中的一个：Geoffrey Hinton，加拿大的Yoshua Bengio，或是Facebook的Yann LeCun。”[1]

一、深度学习计划

        当你想要发动一场革命，你就要从阴谋开始。随着支持向量机（SVM）的成功以及反向传播的失败，神经网络的研究在21世纪迎来了黑暗时期。LeCun和Hinton不约而同的提到了他们或他们学生的论文，在那样一个时期是如何被拒绝出版的，而原因仅仅是他们的主题是有关神经网络的。最上方的引言可能有一些夸张的成分，还是有一些人在从事机器学习和人工智能的研究，他们也还在使用神经网络，但是他们自己也清楚神经网络的研究已经陷入了一个低谷。坚持这一研究的他们找到了一个强大的盟友：加拿大政府。加拿大的高级研究所（CIFAR）出资资助他们从事这种没有实际应用的基础科学的研究，而这也在1987年促使Hinton搬到加拿大继续他的研究。然而，随着90年代中期社会对神经网络的态度再一次反转，资助资金取消了，但Hinton并没有放弃它的研究，它设法继续从CIFAR获得资金，以供自己继续从事神经网络的研究。

       “2004年，Hinton要求推动一个新的神经计算，主流机器学习社区不可能对神经网络一点兴趣也没有。”

       “这可能是最糟糕的时间。”CIFAR的联合发起者，来自蒙特利尔大学的Bengio如此说道。“从去年开始，大家都在忙着不同的事情，但是不知怎的，Geoff说服了他们”，

        “我们应该给CIFAR一点信心，好让他们愿意加入这个计划。”

        CIFAR“对机器学习社区的建立起到了巨大的作用。” CIFAR的另一位联合发起者LeCun补充到，“我们有点被广义的机器学习社区抛弃了的意味：我们的论文无法发表。但这给了我们一个可以交流想法的平台”

        尽管资金不多，但也足够一小群研究人员继续工作了。正如Hinton自己所说，他们通过把神经网络改名为深度学习这样一种阴谋方式，来继续对神经网络进行研究。然后，每一个神经网络研究者希望看到的事情发生了：Hinton, Simon Osindero, 和Yee-Whye在2006年发表了一篇被认为可以重新燃起社会对神经网络的兴趣点文章：一种可以实现快速学习的深度信念网络[2]。尽管这些算法已经被新的算法所取代，但是我们已经初步看到了“深度学习”的端倪。比这个名字更重要的是，如果权重可以以更好的方式来代替随机初始化，多层神经网络可以被训练得很好。Hinton曾经这样表示：

       “这是一个历史性的时刻，这个时刻我们克服了对神经网络的成见。这些成见认为神经网络不好，永远都不会训练。前不久我的一个朋友向国际机器学习会议（ICML）投稿，但是评审拒绝了他，仅仅是因为文章的内容是关于神经网络。可以查ICML近几年的收录记录，没有任何一篇文章是有关神经网络的。所以IEEE期刊应该是又一个‘不接受神经网络’的官方政策。所以这是一个重要的时刻”

图4.1 限制玻尔兹曼机

        

        那么我们究竟应该怎么聪明的初始化权重？基本思想是逐层的对每一层神经网络进行无监督训练，起始权重是一些随机值，然后想常规神经网络的完成一次监督学习。每层都会以一个受限玻尔兹曼机作为开始，并把它作为隐含层之间的可见单元的连接点，以无监督的方式来训练生成模型。事实证明，这种训练方式可以按照Hinton在2002年的论文“Training Products of Experts by Minimizing Contrastive Divergence”[3]中提及的方式进行，并取得不错的成果。该算法不仅使单元产生训练数据的可能性最大化，还被证实训练结果十分理想。算法如下：

1、在RBM上使用对比-散度的方式训练数据。这是信念网络的第一层。

2、对通过RBM的数据生成隐含值，并使用这些隐含值来训练另外一个RBM。把这些隐含值“堆”在第一层，并保持权重在想用的方向，形成一个信念网。这是第二层。

3、重复第二部，直到达到需求的信念网的层数。

4、如果需要分类，则需要添加对应分类标签的一组隐藏单元，并对唤醒睡眠的的算法作出微调来调整权重。这种无监督学习和监督学习组合的方式通常被称为半监督学习。

图4.2 Hinton介绍的分层预训练

        该文结尾处表示，深度信念网络（DBNs）对于标准的MNIST识别字符数据集具有最优性能，明显优于只有几层的神经网络。Yoshua Bengio等人在2007年的论文“Greedy Layer-Wise Training of Deep Networks”[4]中，提出了一个强有力的证明，证明了深层机器学习方法（有许多步的算法，或等价于有很多维的特征的数据），在处理复杂的问题比简单的算法（有两层的ANN或是支持想理机之类的算法）更加有效。

图4.3 另外一个无监督与训练的观点，使用自动编码器来代替RBM

        他们还提出了添加无监督训练的原因和结果，因为这样不仅