神经网络（全连接）的前向和反向传播

转自我的知乎专栏：https://zhuanlan.zhihu.com/p/34378516/edit

神经网络模型是人工智能最基础的模型，它的诞生也是受益于神经科学家对猫的大脑的研究。神经网络通过自学习的方式可以获得高度抽象的，手工特征无法达到的特征，在计算机视觉领域取得了革命性的突破。而神经网络之所以最近几年取得了这么大的成功，反向传播算法是一个很重要的原因。可以说，只有深入了解了反向传播算法才可以说真正了解了神经网络的作用过程。
本文尽量用图文并茂的方式讲清楚神经网络的前向和反向传播，并用python做了实现。希望能以最易懂的方式讲清楚这两个东西。至于神经网络的基本构成，如权重，偏置，激活函数，随机梯度下降等基础概念就不再细述，读者可以百度。要理解反向传播，必须得知道偏导数的数学定义，要看懂代码得有一定的python基础，最好对numpy也有一定了解。废话不多说，以下是正文。
首先构建一个最简单的神经网络如下。

所谓全连接，就是指第N层的每个神经元和第N-1层的每个神经元都相连，每个连接都有一个权值。
如上图，输入层有2个节点，编号依次为1,2；隐藏层也有两个节点，编号分别为3,4；输出层也是两个节点，编号为5,6。b1和b2是偏置节点。
其中的符号含义为：
$w_{ji}$表示第j个节点（位于第N层的非偏置节点）和第i个节点（位于第N-1层的非偏置节点）之间的权重。j是目标节点，i是源节点。
$w_{jb}$ 表示第j个节点（位于第N层的非偏置节点）和位于上一层的偏置节点之间的权重。
$a_{j}$表示第j个节点的输出值。
激活函数假定为sigmoid，当然也可以用relu等。sigmoid函数的定义为：

$$sigmoid(x) = \frac{1}{1+e^{-x}}$$
为了方便演示，我们给一些实际数据，假定输入数据 $x_{1} = 0.02 ,x_{2} = 0.04$；期望输出也就是目标值为 $t_{1} = 0.5, t_{2} = 0.9$ 。
权重w的初始化有很多方法，比如xaiver，msra等，这里就任意赋值了，假定初始化为
$w_{31} = 0.05 , w_{32} = 0.1 , w_{41} = 0.15 , w_{42} = 0.2 , w_{53} = 0.25 , w_{54} = 0.3 , w_{63} = 0.35 , w_{64} = 0.4$
偏置项初始化为 $b_{1} = 0.5 , b_{2} = 0.9$
$w_{3b} = 0.5 , w_{4b} = 0.5 , w_{5b} = 0.9 , w_{6b} = 0.9$

前向传播

前向传播比较简单，就是向量点乘，也就是加权求和，然后经过一个激活函数。

$$y = w*x + b$$
以节点3为例，节点3的输入值为 $w_{31} x_{1}+w_{32} x_{2} + w_{3b}w_{31} x_{1}+w_{32} x_{2} + w_{3b}$
节点3的输出值为 $a_{3} = sigmoid(w_{31} x_{1}+w_{32} x_{2} + w_{3b})a_{3} = sigmoid(w_{31} x_{1}+w_{32} x_{2} + w_{3b})$
实际值为 $a_{3} = sigmoid(0.05*0.02+0.1* 0.04 + 0.5) = \frac{1}{1+e^{-0.505}} = 0.6236336$
同样的节点4的输出值为 $a_{4} = sigmoid(w_{41} x_{1}+w_{42} x_{2} + w_{4b})$
实际值为 $a_{4} = sigmoid(0.15*0.02+0.2* 0.04 + 0.5) = \frac{1}{1+e^{-0.011}} = 0.50274997$
节点5的输出值为 $a_{5} = sigmoid(w_{53} a_{3}+w_{54} a_{4} + w_{5b})$
实际值为
$$y_{1} = a_{5} = sigmoid(0.25*0.6236336+0.35* 0.50274997 + 0.9) = \frac{1}{1+e^{1.2318708895}} = 0.225854$$
节点6的输出值为 $a_{6} = sigmoid(w_{63} a_{3}+w_{64} a_{4} + w_{6b})a_{6} = sigmoid(w_{63} a_{3}+w_{64} a_{4} + w_{6b})$
$$y_{2} = a_{6} = sigmoid(0.35*0.6236336+0.4* 0.50274997 + 0.9) = \frac{1}{1+e^{1.319371748}} = 0.2109228$$
可以看到和目标值的差距还比较大。
以下用数学公式进行表述：
定义网络的输入向量为：

$$\vec{x} = \begin{bmatrix}x_{1} \\ x_{2} \\ 1 \end{bmatrix}\vec{x} = \begin{bmatrix}x_{1} \\ x_{2} \\ 1 \end{bmatrix}$$
输出向量为：
$$\vec{y} = \begin{bmatrix}y_{1} \\ y_{2} \end{bmatrix}\vec{y} = \begin{bmatrix}y_{1} \\ y_{2} \end{bmatrix}$$
权重 矩阵为：
$$\vec{w_{3}} = \begin{bmatrix}w_{31} &w_{32} & w_{3b} \end{bmatrix}$$
$$\vec{w_{4}} = \begin{bmatrix}w_{41} &w_{42} & w_{4b} \end{bmatrix}$$
$$\vec{w_{5}} = \begin{bmatrix}w_{53} &w_{54} & w_{5b} \end{bmatrix}$$
$$\vec{w_{6}} = \begin{bmatrix}w_{63} &w_{64} & w_{6b} \end{bmatrix}$$
$$\vec{w} = \begin{bmatrix}w_{31} &w_{31} & w_{3b} \\w_{41} &w_{42} & w_{4b} \\w_{51} &w_{52} & w_{5b} \\w_{61} &w_{62} & w_{6b} \end{bmatrix}$$
激活函数为：
$$f = sigmoidf = sigmoid$$
节点的输入为：
$$net_{1} = x_{1}$$
$$net_{2} = x_{2}$$
$$net_{3} = \overrightarrow{w_{3}}\cdot \overrightarrow{x}$$
$$net_{4} = \overrightarrow{w_{4}}\cdot \overrightarrow{x}$$
$$net_{5} = \overrightarrow{w_{5}}\cdot \begin{bmatrix}a_{3} \\ a_{4} \\1 \end{bmatrix}$$
$$net_{6} = \overrightarrow{w_{6}}\cdot \begin{bmatrix}a_{3} \\ a_{4} \\1 \end{bmatrix}$$
节点的输出为：
$$\vec{a} = \begin{bmatrix}a_{3} \\ a_{4} \\ a_{5} \\ a_{6} \end{bmatrix}$$
$$a_{3} = f(net_{3}) = f(\overrightarrow{w_{3}}\cdot \overrightarrow{x})$$
$$a_{4} = f(net_{4}) = f(\overrightarrow{w_{4}}\cdot \overrightarrow{x})$$
$$a_{5} =y_{1} = f(net_{5})$$
$$a_{6} =y_{2} = f(net_{6})$$
反向传播
进行反向传播前需要确定一个损失函数，损失函数有很多种，这里使用最常用的L2 loss的二分之一。