深度学习之前馈神经网络（前向传播和误差反向传播）

这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。

一、神经网络结构

目前比较常用的神经网络结构有如下三种：

1、前馈神经网络

前馈神经网络中，把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的，没有反向的信息传播（和误差反向传播不是一回事），可以用一个有向无环图来表示。

前馈神经网络包括全连接前馈神经网络和卷积神经网络。

前馈神经网络可以看做是一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

2、反馈神经网络

反馈神经网络中神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。

常见的反馈神经网络包括循环神经网络、Hopfield网络和玻尔兹曼机。

而为了进一步增强记忆网络的记忆容量，可以映入外部记忆单元和读写机制，用来保存一些网络的中间状态，称为记忆增强网络，比如神经图灵机。

3、图网络

前馈神经网络和反馈神经网络的输入都可表示为向量或者向量序列，但实际应用中很多数据都是图结构的数据，比如知识图谱、社交网络和分子网络等。这时就需要用到图网络来进行处理。

图网络是定义在图结构数据上的神经网络，图中每个结点都由一个或者一组神经元组成。结点之前的连接可以是有向的，也可以是无向的。每个结点可以收到来自相邻结点或自身的信息。

以下是这三种神经网络结构的示意图：

 

二、前馈神经网络

在前馈神经网络（Feedforward Neural Network， FNN ）中，每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。第0层叫做输入层，最后一层叫做输出层，其他中间层叫做隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。

多层前馈神经网络的图示如下：

1、前馈神经网络的前向传播

用下面的记号来描述一个前馈神经网络：

前馈神经网络通过下面公式进行信息传播：

这样前馈神经网络通过逐层的信息传递，得到网络最后的输出a^(L)。整个网络可以看做是一个复合函数，将向量x作为第1层的输入a⁽⁰⁾，将第L层的输出a^(L)作为整个函数的输出。

 2、前馈神经网络的梯度下降法

神经网络具有极其强大的拟合能力，可以作为一个万能函数来使用，通过进行复杂的特征转换，可以以任意精度来近似任何一个有界闭集函数。

类似于其他机器学习算法求解参数的数值计算方法，我们首先考虑用梯度下降法来进行参数学习。