深度神经网络模型（DNN）与前向传播算法

原文见：深度神经网络模型（DNN）与前向传播算法

这里具体写一下摘要及感想

1、DNN（深度神经网络）简介：

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

输入层的每个神经元输入样本数据x的一维

层与层之间是全连接的，也就是说，第$i$层的任意一个神经元一定与第$i+1$层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系$z=\sum w_i{x}_i+b$加上一个激活函数$\sigma (z)$。

2、参数定义
由于DNN层数增多，则线性关系系数$w$和偏倚$b$的数量就会很多，具体的定义方法如下：
首先我们来看看线性关系系数$w$的定义。以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为$w_{24}^3$

上标 3 代表线性系数$w$所在的层数，而下标对应的是输出的第三层索引 2 和输入的第二层索引 4 。你也许会问，为什么不是$w_{42}^3,$ 而是$w_{24}^3$呢，如果是$w_{42}^3$而每次进行矩阵运算是$w^{T}x+b$， 需要进行转置。将输出的索引放在前面的话，则线性运算不用转置,即直接为$wx+b$。总结下，第$l-1$层的第$k$个神经元到第$l$层的第$j$个神经元的线性系数定义为$w_{jk}^l$。注意，输入层是没有$w$参数的。

再来看看偏倚$b$的定义。还是以这个三层的DNN为例，第二层的第三个神经元对应的偏倚定义为$b_{23}$。其中，上标$2$代表所在的层数，下标$3$代表偏倚所在的神经元的索引。同样的道理，第三个的第一个神经元的偏倚应该表示为$b_{31}$。同样的，输入层是没有偏倚参数$b$的。

3、传播公式

从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。假设第$l-1$层共有$m$个神经元，而第$l$层共有$n$个神经元，则第$l$层的线性系数$w$组成了一个$n\times m$的矩阵$W^l$, 第$l$层的偏倚$b$组成了一个$n\times 1$的向量$b^l$ , 第$l-1$层的的输出$a$组成了一个$m\times 1$的向量$a^{l-1}$，第$l$层的的未激活前线性输出$z$组成了一个$n\times 1$的向量$z^l$, 第$l$层的的输出$a$组成了一个$n\times 1$的向量$a^l$。则用矩阵法表示，第l层的输出为：矩阵化：

4、前向传播过程
所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵$W$,偏倚向量$b$来和输入值向量$x$进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
　　　　输入: 总层数$L$，所有隐藏层和输出层对应的矩阵$W$,偏倚向量$b$，输入值向量$x$
　　　　输出：输出层的输出$a^L$
　　　　1） 初始化$a_1=x$
　　　　2) for l=2 to L, 计算：

$$a_l=\sigma (W^l{a}^{l-1}+b^l)$$
最后的结果即为输出$a^L$。