全连接神经网络的前向计算、反向传播原理

全连接神经网络的权值更新原理推导（前向计算+反向传播）

本问我们首先介绍了全连接神经网络权值更新的基本数学原理——梯度下降算法。之后本问将介绍单层感知机（单输出全连接神经网络）的权值更新原理，从而进一步讲解全连接神经网络权值更新的原理。

1 梯度下降算法

梯度下降算法是一种寻找函数极小值的算法，梯度下降算法将在后文的权值更新中用于求解目标函数的极小值（后文会解释什么是目标函数）。

1.1 梯度

首先需要了解的是：梯度是什么？
梯度是一个向量，函数沿着这个向量的方向，函数值增加的速度最快。梯度中包含函数对各自变量的偏导数。比如对于函数：

• $f(x,y)=x^2+y^2$

梯度的计算公式为：
$gradient=(\frac{\sigma x}{\sigma f(x,y)}，\frac{\sigma y}{\sigma f(x,y)})=(2x,2y)$

1.2 梯度下降算法

由于梯度的方向就是函数增加速度最快的方向，那么梯度的反方向就必然是函数值减少最快的方向。于是，我们可以使得自变量往梯度的反方向变化，这样函数就会逐步靠近最小值（其实不是梯度反方向也可以，只要这个方向是函数值减小的方向就可以）。

于是，比如，对于待优化的函数$f(w,b)=w^2\ast x+b$
我们可以得到梯度下降的算法的基本实现步骤：

1. 初始化一个$w_0$和$b_0$的值
2. 根据$w_1=w_0-{\alpha }_1\ast 2wx$，$b_1=b_0-{\alpha }_2\ast 1$ （α是学习率，可以取0.001）更新$w$和$b$的值
3. 不断更新直到收敛

2 单输出感知机的权值更新原理

首先定义变量的命名规则，如图所示：

$w$表示权值，下标表示连接的两个节点在各自层的编号，上标表示连接的上一层的层数。
$x$表示输入值，下标表示该输入在各自层的编号，上标表示所在层的层数。
$O$表示输入值经过激活函数后的值，与$x$类似下标表示该输入在各自层的编号，上标表示所在层的层数。

单输出感知机的结构如下图所示：

单层感知机的数学模型为：

$x_1=x_0\ast w_0+x_1\ast w_1+x_2\ast w_2+...+x_n\ast w_n=\sum x_j\ast w_j$
$O_1=sigmoid(x_1)$
$E=\frac{1}{2}\ast (O_1-t_1{)}^2$

其中，sigmoid是激活函数（必须选可导的激活函数，不然后面没法求梯度）；E是误差函数，是优化的对象；t1是真实值（label）。
对于单层感知机，我们的目标是：输入一个样本（包含x0到xn的特征），模型可以输出准确（或与真实值相近）的O1值。所以在单层感知机中，我们需要对权值$w_0,w_1,w_2$