神经网络之前向传播

神经网络之前向传播

神经网络通过输入多个“单一”的神经元x₁,x₂,x₃，通过在隐含层的计算，输出你的期望（输出值）h_w,b(x)，当你的输入和输出是一样的时候，成为自编码模型(Auto-Encoder),而当你输入和输出是不一致的时候，也就是我们常说的人工神经网络。

注释：+1称为偏置节点，又称为截距（如同直线上的b）；

其中函数f:()称为激活函数，常用的激活函数为sigmoid函数和tanh函数

神经网络的计算

我们用 $x_l$表示网络的层数，本例中 $x_l$=3 ，我们将第$l$ 层记为$L_l$，于是$L_1$ 是输入层，输出层是$L_{nl}$ 。本例神经网络有参数 $(W,b)$ = $(W^{(1)}$,$b^{(1)}$,$W^{(2)}$,$b^{(2)})$，其中 $W_{ij}^{(l)}$ （下面的式子中用到）是第 $l$ 层第 $j$ 单元与第 $l+1$ 层第 $i$单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， $b_i^{(l)}$是第 $l+1$ 层第 $i$ 单元的偏置项。因此在本例中， $W^{(1)}\in {\Re }^{3\times 3}$ ，$W^{(2)}\in {\Re }^{1\times 3}$ 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出$+1$。同时，我们用 $s_l$ 表示第$l$ 层的节点数（偏置单元不计在内）。

我们用$a_i^{(l)}$表示第$l$ 层第 $i$ 单元的激活值（输出值）。当 $l=1$ 时， $a_i^{(1)}=x_i$ ，也就是第$i$ 个输入值（输入值的第$i$ 个特征）。对于给定参数集合$W,b$ ，我们的神经网络就可以按照函数$h_{W,b}(x)$ 来计算输出结果。本例神经网络的计算步骤如下：

我们用 $z_i^{(l)}$ 表示第 $l$ 层第 $i$ 单元输入加权和（包括偏置单元），比如，$z_i^{(2)}={\sum }_{j=1}^n{W}_{ij}^{(1)}{x}_j+b_i^{(1)}，则a_i^{(l)}=f(z_i^{(l)})$ 。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 $f(\cdot )$ 扩展为用向量（分量的形式）来表示，即 $f([z_1,z_2,z_3])=[f(z_1),f(z_2),f(z_3)]$ ，那么，上面的等式可以更简洁地表示为：

$z^{(2)}$= $W^{(1)}x+b^{(1)}$
$a^{(2)}$= $f(z^{(2)})$
$z^{(3)}$= $W^{(2)}{a}^{(2)}+b^{(2)}$
$h_{W,b}(x)$= $a^{(3)}=f(z^{(3)})$

我们将上面的计算步骤叫作前向传播。回想一下，之前我们用 $a^{(1)}=x$ 表示输入层的激活值，那么给定第 $l$ 层的激活值$a^{(l)}$后，第$l+1$ 层的激活值$a^{(l+1)}$ 就可以按照下面步骤计算得到：

$z^{(l+1)}$= $W^{(l)}{a}^{(l)}+b^{(l)}$
$a^{(l+1)}$= $f(z^{(l+1)})$

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

此文主要根据下面两篇文章学习的一些心得：http://ufldl.stanford.edu/wiki/index.php/神经网络
https://www.2cto.com/net/201708/666276.html