[深度学习-1.4] 构建深层神经网络并实现MNIST手写数字识别

许多情况下浅层神经网络（包括之前的逻辑回归和单隐层神经网络）效果可能并不理想，这就是为什么要用深层神经网络的原因。

  前面Logistic回归和单隐层神经网络都是解决二分类问题，学习完深层神经网络之后我想尝试一下解决复杂一点的问题，因此选择了MNIST数据集的识别。

深层网络模型以及符号约定

下面以一个五层神经网络为例，先简单介绍一下网络模型以及对参数符号做一些约定。

  图中输入层定义为L0，从第一个隐藏层开始标记为L1，一直到输出层L5，定义为一个五层的神经网络。所以，其实前面的Logistic回归就可以看作一个一层神经网络，单隐层神经网络就是一个两层的神经网络。

• 符号约定

符号	意义	备注
$L$	网络的总层数	-
$n^{[l]}$	第 $l$ 层的节点(神经元)数	$0\le l\le L$
${\mathbf{W}}^{[l]}$	$l-1$ 层到 $l$ 层连接的权重矩阵	${\mathbf{W}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times n^{[l-1]}}$
${\mathbf{b}}^{[l]}$	第 $l$ 层的阈值	${\mathbf{b}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times 1}$
${\mathbf{Z}}^{[l]}$	$${\mathbf{Z}}^{[l]}={\mathbf{W}}^{[l]}{\mathbf{A}}^{[l-1]}+{\mathbf{b}}^{[l]}$$	${\mathbf{Z}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times 1}$
${\mathbf{A}}^{[l]}$	第 $l$ 层的激活值(第 $l$ 层的输出)，${\mathbf{A}}^{[l]}=g^{[l]}({\mathbf{Z}}^{[l]})$	${\mathbf{A}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times 1}$
$g^{[l]}(\cdot )$	第 $l$ 层的激活函数	-

  以上图为例，$n^{[0]}=2$，$n^{[2]}=5$，${\mathbf{W}}^{[2]}\subseteq {\mathbf{R}}^{5\times 3}$，${\mathbf{b}}^{[3]}\subseteq {\mathbf{R}}^{4\times 1}$。此外输入可以看作${\mathbf{A}}^{[0]}$，即${\mathbf{A}}^{[0]}=\mathbf{X}$。此外需要注意的是，上面只考虑了单个样本输入的情况，对于 $m$ 个样本输入的情况，${\mathbf{Z}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times m}$，${\mathbf{A}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times m}$，后面会具体讲到。

MNIST数据集

MISIST数据集是一个手写数字图片数据集，可以在 http://yann.lecun.com/exdb/mnist/ 免费获取。数据包含了四部分：

• train-images.idx3-ubyte : 60000个训练样本
• train-labels.idx1-ubyte : 60000个训练样本的标签
• t10k-images.idx3-ubyte : 10000个测试样本
• t10k-labels.idx1-ubyte : 10000个测试样本的标签

  样本及其标签都是用字节方式存储的。每个样本是一张28*28像素的图片，标签为图片所表示的手写数字的值(0-9)。在编程实现的时候，将每个样本图片读取为长度784(28*28)的向量，这样，训练集样本被表示为784*60000的矩阵，测试集样本被表示为784*10000的矩阵。
  在二分类问题中输出层只用一个神经元就可以，因为通过sigmoid函数输出的值就可以直接确定输入样本属于类别1($\hat{y}>0.5$)还是属于类别0($\hat{y}\le 0.5$)。但是对于MNIST数据识别，共有十类标签，显然输出层用一个神经元已经不合适了（或许依旧是可行的）。因此，输出层用十个神经元来表示，每个神经元的输出表示判定为此类的概率，这样概率最大的即为预测的标签值。
  网络输出层结构确定之后，别忘了训练标签也要做相应处理。直接从文件读取到的值为图片对应的数字的值，为了和网络输出层结构匹配，需要将每个标签转化为一个10*1的向量，真实值对应的位置为1，其他位置为0。例如，标签“5”对应的向量应为 $[0,0,0,0,0,1,0,0,0,0{]}^T$。这样训练集标签就被表示为10*60000的矩阵，测试集标签就被表示为10*10000的矩阵。
  总结一下就是，在进行MNIST数据识别时，${\mathbf{A}}^{[0]}=\mathbf{X}\subseteq {\mathbf{R}}^{n^{[0]}\times m}$，${\mathbf{A}}^{[l]}\subseteq {\mathbf{R}}^{n^{[l]}\times m}$，${\mathbf{A}}^{[L]}=\mathbf{X}\subseteq {\mathbf{R}}^{n^{[L]}\times m}$，其中$n^{[0]}=784$，$n^{[L]}=10$，$m=60000$(训练集)或$m=10000$(测试集)。

  关于MINIST的更详细介绍以及数据读取等可以看详解MNIST数据集这篇文章，我觉得博主大佬讲的超级详细！

构建和训练用于手写数字识别的深层神经网络

与Logistic回归和单隐层神经网络类似，训练一个深层神经网络也可以归纳为以下几个步骤：

1. 前向传播：根据输入样本计算预测值；
2. 计算损失函数；
3. 反向传播：反向逐层计算梯度值（$d\mathbf{W}$和$d\mathbf{b}$）；
4. 利用梯度信息更新权重和阈值。
5. 重复步骤1-5，直到停止条件满足（可以认为停止条件就是达到最大迭代次数）。

下面逐步进行解释及推导。

• 前向传播
    前向传播就是根据样本的输入特征计算对应的输出，称这个输出为“预测值”。训练网络的目的就是使这个预测值尽可能和对应的真实值一致。前向传播的过程简单来说就是$$\mathbf{X}\to {\mathbf{A}}^{[1]}\to {\mathbf{A}}^{[2]}\to \cdot \cdot \cdot \to {\mathbf{A}}^{[L]}$$  事实上，如果隐藏层的激活函数采用sigmoid函数，那么深层神经网络前向传播的过程只不过是Logistic回归的过程重复计算了 $L$ 次而已，也就是重复以下过程：
  $${\mathbf{Z}}^{[l]}={\mathbf{W}}^{[l]}{\mathbf{A}}^{[l-1]}+{\mathbf{b}}^{[l]}\text{\hspace{1em}(1)}$$$${\mathbf{A}}^{[l]}=g^{[l]}({\mathbf{Z}}^{[l]})\text{\hspace{1em}(2)}$$但实际实现时，激活函数全部使用sigmoid并不是个很好的选择，建议除了输出层使用sigmoid函数之外，其余层均使用ReLU函数作为激活函数。

  

• 计算损失函数
    损失函数仍旧使用交叉熵损失函数，不同于之前的二分类网络，用于MNIST数据识别的网络输出层有十个神经元，计算损失函数的时候和前面稍微有点不同。首先考虑单个样本和单个输出神经元，损失值为
  $$L_0=-(y_j^{(i)}\log (a_j^{[L](i)})+(1-y_j^{(i)})\log (1-a_j^{[L](i)}))\text{\hspace{1em}(3)}$$其中 $y_j^{(i)}$ 表示第 $i$ 个样本的第 $j$ 个标签值(即前面将标签转化为向量后的向量第 $j$ 个值)，$a_j^{[L](i)}$表示对应样本在输出层第 $j$ 个神经元得到的输出值。
    那么单个样本考虑所有的输出层神经元，损失值就是
  $$L=-\sum _{j=1}^{n^{[L]}}(y_j^{(i)}\log (a_j^{[L](i)})+(1-y_j^{(i)})\log (1-a_j^{[L](i)}))\text{\hspace{1em}(4)}$$进而考虑所有 $m$ 个样本，得到总的损失值为
  $$J=-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^{n^{[L]}}(y_j^{(i)}\log (a_j^{[L](i)})+(1-y_j^{(i)})\log (1-a_j^{[L](i)}))\text{\hspace{1em}(5)}$$用矩阵的形式就可以表示为
  $$J=-\frac{1}{m}\sum _{i,j}(\mathbf{Y}\ast \log ({\mathbf{A}}^{[L]})+(1-\mathbf{Y})\ast (1-\log ({\mathbf{A}}^{[L]}))\text{\hspace{1em}(6)}$$其中 $\ast$ 表示矩阵的数乘运算(两个矩阵对应元素相乘)，能进行这个运算的前提是 $\mathbf{Y}$ 和 ${\mathbf{A}}^{[L]}$ 是同型矩阵，上面已经讨论过${\mathbf{A}}^{[L]}\subseteq {\mathbf{R}}^{n^{[L]}\times m}$，$\mathbf{Y}\subseteq {\mathbf{R}}^{n^{[L]}\times m}$，所以这里是没毛病的。

• 反向传播
    损失函数实际上就是一个对当前网络的好坏的评价，在得到这个“评价指标”后，接下来需要做的就是计算损失函数的梯度并逐层反向传播，用于接下来进行阈值和权重的更新。如果高数里面求导的链式法则还记得的话，其实求导的过程也不是非常难。
  下面以网络后两层为例来进行推导(看着头晕的话可以直接跳过这部分推导直接看后面的果部分，式15-18)
  $$d{\mathbf{A}}^{[L]}=\frac{\partial J}{\partial {\mathbf{A}}^{[L]}}=\frac{(1-\mathbf{Y})}{(1-{\mathbf{A}}^{[L]})}-\frac{\mathbf{Y}}{{\mathbf{A}}^{[L]}}\text{\hspace{1em}(7)}$$$$d{\mathbf{Z}}^{[L]}=\frac{\partial J}{\partial {\mathbf{Z}}^{[L]}}=\frac{\partial J}{\partial {\mathbf{A}}^{[L]}}\cdot \frac{\partial {\mathbf{A}}^{[L]}}{\partial {\mathbf{Z}}^{[L]}}=d{\mathbf{A}}^{[L]}\ast g^{[L{]}^{\prime }}({\mathbf{Z}}^{[L]})\text{\hspace{1em}(8)}$$$$d{\mathbf{W}}^{[L]}=\frac{\partial J}{\partial {\mathbf{W}}^{[L]}}=\frac{\partial J}{\partial {\mathbf{A}}^{[L]}}\cdot \frac{\partial {\mathbf{A}}^{[L]}}{\partial {\mathbf{Z}}^{[L]}}\cdot \frac{\partial {\mathbf{Z}}^{[L]}}{\partial {\mathbf{W}}^{[L]}}=\frac{1}{m}d{\mathbf{Z}}^{[L]}({\mathbf{A}}^{[L-1]}{)}^T\text{\hspace{1em}(9)}$$$$d{\mathbf{b}}^{[L]}=\frac{\partial J}{\partial {\mathbf{b}}^{[L]}}=\frac{\partial J}{\partial {\mathbf{A}}^{[L]}}\cdot \frac{\partial {\mathbf{A}}^{[L]}}{\partial {\mathbf{Z}}^{[L]}}\cdot \frac{\partial {\mathbf{Z}}^{[L]}}{\partial {\mathbf{b}}^{[L]}}=\frac{1}{m}\sum _{i=1}^{m}d{\mathbf{Z}}^{[L]}\text{\hspace{1em}(10)}$$$$d{\mathbf{A}}^{[L-1]}=\frac{\partial J}{\partial {\mathbf{A}}^{[L-1]}}=\frac{\partial J}{\partial {\mathbf{Z}}^{[L]}}\cdot \frac{\partial {\mathbf{Z}}^{[L]}}{\partial {\mathbf{A}}^{[L-1]}}=({\mathbf{W}}^{[L]}{)}^{T}d{\mathbf{Z}}^{[L]}\text{\hspace{1em}(11)}$$$$d{\mathbf{Z}}^{[L-1]}=\frac{\partial J}{\partial {\mathbf{Z}}^{[L-1]}}=\frac{\partial J}{\partial {\mathbf{A}}^{[L-1]}}\cdot \frac{\partial {\mathbf{A}}^{[L-1]}}{\partial {\mathbf{Z}}^{[L-1]}}=d{\mathbf{A}}^{[L-1]}\ast g^{[L-1{]}^{\prime }}({\mathbf{Z}}^{[L-1]})\text{\hspace{1em}(12)}$$$$d{\mathbf{W}}^{[L-1]}=\frac{\partial J}{\partial {\mathbf{W}}^{[L-1]}}=\frac{\partial J}{\partial {\mathbf{Z}}^{[L-1]}}\cdot \frac{\partial {\mathbf{Z}}^{[L-1]}}{\partial {\mathbf{W}}^{[L-1]}}=\frac{1}{m}d{\mathbf{Z}}^{[L-1]}({\mathbf{A}}^{[L-2]}{)}^T\text{\hspace{1em}(13)}$$$$d{\mathbf{b}}^{[L-1]}=\frac{\partial J}{\partial {\mathbf{b}}^{[L-1]}}=\frac{\partial J}{\partial {\mathbf{Z}}^{[L-1]}}\cdot \frac{\partial {\mathbf{Z}}^{[L-1]}}{\partial {\mathbf{b}}^{[L-1]}}=\frac{1}{m}\sum _{i=1}^{m}d{\mathbf{Z}}^{[L-1]}\text{\hspace{1em}(14)}$$其中 $g^{[L{]}^{\prime }}(\cdot )$ 表示第 $L$ 层激活函数的导函数。这样通过推导后两层其实很容易就可以发现规律。直接说结果吧
  $$d{\mathbf{Z}}^{[l]}=d{\mathbf{A}}^{[l]}\ast g^{[l{]}^{\prime }}({\mathbf{Z}}^{[l]})\text{\hspace{1em}(15)}$$$$d{\mathbf{W}}^{[l]}=\frac{1}{m}d{\mathbf{Z}}^{[l]}({\mathbf{A}}^{[l-1]}{)}^T\text{\hspace{1em}(16)}$$$$d{\mathbf{b}}^{[l]}=\frac{1}{m}\sum _{i=1}^{m}d{\mathbf{Z}}^{[l]}\text{\hspace{1em}(17)}$$$$d{\mathbf{A}}^{[l-1]}=({\mathbf{W}}^{[l]}{)}^{T}d{\mathbf{Z}}^{[l]}\text{\hspace{1em}(18)}$$
  总结一下反向传播的过程就是以下这个过程，每一步按照上面推导的结果进行计算就可以了，通过这种一层一层的反向计算我们就得到了每一层的 $d\mathbf{W}$ 和 $d\mathbf{b}$，进而进行参数更新。到这里，最难推导和理解的部分就结束了，松一口气哈哈哈。

  

• 更新权重和阈值
    得到了梯度信息之后，剩下就自然而然是更新 $\mathbf{W}$ 和 $\mathbf{b}$ 了，这里没有什么需要理解的。当学习率 $\alpha$ 确定了之后，权重和阈值按照以下方式进行更新
  $${\mathbf{W}}^{[l]}={\mathbf{W}}^{[l]}-\alpha \cdot d{\mathbf{W}}^{[l]}\text{\hspace{1em}(19)}$$$${\mathbf{b}}^{[l]}={\mathbf{b}}^{[l]}-\alpha \cdot d{\mathbf{b}}^{[l]}\text{\hspace{1em}(20)}$$

  到此，一个深度神经网络的前向传播、计算损失函数、反向传播和参数更新的整个过程就完了，训练过程就是在设定的训练条件内，不断地重复这几个过程以不断降低损失函数值，最终得到一个比较好的分类器。

程序和结果

Python程序已经上传到GitHub了。实现过程中发现了一个问题，层数的变化对结果影响不是很大，但是每一层的神经元数量对于识别准确率有很大影响，具体的原因我现在还想不出来什么比较合理的解释。