生命在于学习——Python人工智能原理（1.3.2）

三、深度学习

（二）人工神经网络

人工神经网络是模仿人类大脑神经系统工作原理所创建的数学模型，有并行的分布处理能力、高容错性和自我学习等特征。

1、感知器

感知器由Frank Roseblatt于1957年提出，是一种广泛使用的线性分类器，感知器可谓是最简单的人工神经网络，只有一个神经元。
感知器是对生物神经元的简单数学模拟，有与生物神经元相对于的部件，如权重对应突触，偏置对应阈值，激活函数对应细胞体，输出为+1或-1。

2、神经网络模型

下图是神经网络的结构模型图，最左边的层是输入层，最右边的层是输出层，输入层和输出层之间的层叫做隐藏层，包含多个隐藏层的神经网络叫做深度神经网络。
对于拟合任何一个函数而言，浅层神经网络浅而宽，需要大量神经元，而深层神经网络深而窄，需要更多的层和较少的神经元。一般来说深层神经网络参数更少，更节省资源，但深层神经网络并不好训练，需要大量数据和很好的技巧才能训练出好的神经网络。

3、反向传播算法

学习规则可以用来修改神经网络的权重和偏置值，其目的是训练网络，更好的拟合特定任务的需求。常见的学习规则有Hebb学习规则、Delta算法及反向传播算法（BP）。
BP算法是人工神经网络较常采用的学习方法，其基本思想是逐一由样本集中的样本（Xk，Yk）计算出实际输出Ok和误差测度Ep，对w1，w2，…，wn权值做调整，重复这个循环，直到误差降至最低。
用输出层的误差调整输出层的权值矩阵，并因此误差估计输出层的直接前导误差，再用输出层直接前导层误差估计更前一层的误差，如此获得所有其他各层的误差估计，并用这些估计实现对权值矩阵的修改，形成将输出端出现的误差沿着与输入信号相反的方向逐级向输入端传递的链式求解过程。
BP算法学习过程应用到深度学习中分为两个子过程。输入数据正向传递子过程和误差数据方向传递子过程（正向传播求误差，反向传播求偏导）。
下面以三层神经网络为例，详细说明BP算法的原理及推导求解过程。

（1）正向传播求误差

网络分为三层，设输入层到隐藏层的权值为wji(0)，隐藏层到输出层的权值为wji(1)，权重和偏置的初始值一般根据实际情况采用随机值或经验值。输入层神经元个数为n，隐藏层神经元个数为m，输出层为1采用sigmod激活函数。
输入层的输入向量X(x1,x2,…,xn)，隐藏层的输出向量H=(h1,h2,…,hm)，有（式子1）：

其中，netj(0)为未激活之前的神经网络计算输出，wji(0)为权值，bj(0)为节点hj的偏置值，f()为激活函数，θj(0)是阈值，用来改变神经元的活性，只有当神经元接收的信息达到阈值时才会被激活，同样，输出层向量O=(o1,o2,…,xl)，有（式子2）：

（2）反向传播求偏导

设d为期望输出，o为实际输出，E为损失函数（又称误差信号），则损失函数定义为（式子3）：

dk是输出层第k个单元的期望输出，ok是输出层第k个单元的实际输出。将损失函数E展开到隐藏层，即把式子2带入到式子3中，可以得到（式子4）：

再把损失函数E展开到输入层，即把式子1带入到式子4中，可以得到（式子5）：

从式子5中可以看出，损失函数E是关于权值和偏置的函数，要使E最小，就要沿着梯度的反方向不断修改和调整权值和偏置。对于wkj(1)来说，可以选择任意初始点wki(1)，从wki(1)沿着梯度下降的方向新进，所以取（式子6）：

其中，η是学习率，取值0-1，可以用于避免陷入求解空间的局部最优值。同理可得（式子7）：

对Δwki(1)和Δbk(1)进一步展开，可以得（式子8）：

对隐藏层的Δwji(0)和Δbj(0)进一步展开，可以得（式子9）：

对输出层和隐藏层各定义一个误差权值信号，令（式子10）：

则（式子11）

（式子12）

ξko和ξjy又可以展开为（式子13）：

由此，根据式子3，损失函数对o和h求偏导可得（式子14）：

其中，由sigmod函数性质可知：

并将式子14带入式子13可得（式子15）：

将式子15带入到式子11和式子12中，即可求得BP算法的权值和偏置更新计算公式。