神经网络-DNN前向传播

神经网络

从感知机到神经网络

感知机的模型

它是一个有若干输入和一个输出的模型，如下图：

接着是一个神经元激活函数：

从而得到我们想要的输出结果1或者-1。
这个模型只能用于二元分类，且无法学习比较复杂的非线性模型。

而神经网络则在感知机的模型上做了扩展，总结下主要有三点：

1）加入隐藏层，隐藏层可以有多层，增强模型的表达能力，当然增加了这么多隐藏层模型的复杂度也增加了好多。

2）输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。

　3） 对激活函数做扩展，感知机的激活函数是sign(z),虽然简单但是处理能力有限，因此神经网络中一般使用的其他的激活函数，比如我们在逻辑回归里面使用过的Sigmoid函数，即：
　
　　还有后来出现的tanx, softmax,和ReLU等。通过使用不同的激活函数，神经网络的表达能力进一步增强。对于各种常用的激活函数，我们在后面再专门讲。

深度神经网络

由于DNN层数多，则我们的线性关系系数w和偏倚b的数量也就是很多了。具体的参数在DNN是如何定义的呢？

DNN前向传播算法数学原理

利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。

DNN前向传播算法

有了上一节的数学推导，DNN的前向传播算法也就不难了。所谓的DNN的前向传播也就是利用我们的若干个权重系数矩阵W，偏差b来和输入值向量进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为止。