深度学习入门理解

感知器：神经网络的第一次兴起和衰落

Frank Rosenblatt，康奈尔航空实验室，宣布拥有学习和认知功能的计算机-马克一号的诞生。马克一号的理论基础就是感知器算法。通过对输入的数据进行分析，感知器算法可以根据所犯的错误调整自身参数，从而达到学习的目的。现在火爆的深度学习中的“深度”一词，就是指神经网络层数的加深。

神经网络的结构

最简单的神经网络有三部分组成，输入层，隐藏层和输出层。
输出层，将输入的数据转化为一串数字。
隐藏层，根据输入层的数字，计算出一组中间结果。
输出层，根据隐含层得到的中间结果，做出最终决策。
注：假设有两个输入A和B，异或的意思就是A和B的值相同输出0，不同输出1.
在上述过程中每一层神经元的输出取决于三个要素，
1.上一层神经元的输出。2.层与层之间的连接。3.激活函数，在神经网络工作时，每层神经元根据前一层的输出和对应的连接权重做加权求和后产生一个数值。而这个数值需要经过一个非线性变换后再传递到下一层。这个非线性变换就是通过激活函数来实现的。实际应用中常见的激活函数有sigmoid函数和rule函数。激活函数的作用类似于神经细胞的信息传导。复杂的神经网络的隐含层一般包含多个，隐含层数量越多，表达能力越强，可以解决的问题就更多。深度学习之所以优于早期的神经网络，主要是它可以从大规模数据中有效地训练出更多的隐含层。那么深度学习模型中不同隐含层之间的关系是什么呢？以图象为例，最初的隐含层，一般用于表示简单的图像特征，例如边缘，直角，曲线等。后面的隐含层可以表达更高级的语义特征，比如汽车的轮胎、建筑物的窗户、动物头部的轮廓等。现在公开的深度学习模型无论多么复杂，只要知道了输入和网络的结构和参数，很容易根据之前的公式计算出最后的输出。具有挑战性的是如何根据已有的数据，优化计算出网络的参数，最重要的参数是神经元的连接权重。

神经网络的优化

David E.Rumelhart和他的同事Geoff Hinton等人发明了反向传播算法，可以模拟布尔代数中的“异或”运算符以及更复杂的函数，这比20年前Frank Rosenblatt发明的感知器算法有了很大的进步。
反向传播解决的是多层神经网络的优化问题。神经网络的优化是基于一组训练数据的参数调整过程。科研人员优化神经网络时，会给出大量的题目和答案，让神经网络自己去寻找解题的方法。所谓的训练数据就是大量的题目和答案的结合。在整个过程中，最初几层参数的优化最为困难，因为他们与神经网络输出的函数关系最复杂。反向传播算法巧妙地利用了神经网络层与层之间的递推关系，从最后一层的参数开始，逐渐向前优化。每一层参数的优化只和他后一层的参数有关，这就大大简化了需要表达的函数关系，有效地解决了多层神经网络的优化问题。

当神经网路与遇上大数据

随着20世纪末，21世纪初互联网和分布式系统的兴起，大数据相关技术的日趋成熟，这对深度学习的发展起到了巨大的推广作用。除了分布式系统，专用硬件的出现也促进了深度神经网络的发展。例如，显卡（GPU），为了某种算法定制的现场可编程逻辑门阵列（FPGA）和专用集成电路（ASIC）。专用硬件提供了强大的并行计算性能，神经网络的训练速度达到了质的飞跃。除了系统层面的性能改进，算法的改进也使得深度学习的实用性有所提高。

算法改进

除了硬件方面的提升，在软件方面一个重要的改进方向就是对优化出的模型进行压缩。例如将神经网络参数从一个浮点数压缩成一个数值范围有限的整数。或者设法减少每一层神经元的数量和不同层之间的连接数。这有两个好处，一模型压缩可以提高模型的运算速度，其次，这种优化可以使得神经网络占用计算机资源更小，更适合在计算资源有限的环境中。
除了速度上的改进，科研人员还提出了优化算法上的改进，为了能够让超大规模的神经网络从大数据中学到有用的知识，而不是噪音。例如有一种简单使用的方法叫Dropout，就是在训练每一层神经网络时，随机将一些神经网络的输出强制为0，也就是弃用（Drop）这个神经元。这种做法可以认为是将一个大型神经网络拆解成多个小规模神经网络，对它们的输出求平均。在求平均时，数据中的噪音便可以被有效降低。
最后祝大家学习愉快。