神经网络参数更新公式推导（二） ——全连接深度神经网络

一、引言

       与仅包含一层隐含层的网络不同，深度神经网络一般采用的激活函数为ReLU而不是Sigmoid函数，并且没有了阈值，而在每一层的输出上加上了偏置（Bias）。对于三层神经网络中隐层的节点，其输入首先要与阈值作差，然后将差值输入到激活函数(Sigmoid)中。虽然都是采用BP算法进行更新，但三层网络更新的是权重和阈值，而深度网络中更新的是权重矩阵和偏置。此外，由于是多层隐含层，所以需要在更新当前层的时候用到后面一层的信息，需要明确给出权重矩阵和偏置的更新公式。

二、输入变换

       1. 以卷积神经网络为例，输入为m行n列c通道的图像，总图像数目为K；

       2. 将每张图像拉直成一个行向量，维度大小为1*m*n*c，记l=1*m*n*c；

       3. 这样，所有图像组成一个矩阵，表示如下：