用C语言构建一个数字识别深度神经网络

接上一篇: 用C语言构建一个数字识别卷积神经网络

1. 深度神经网络

　　按照深度学习的理论，随着神经网络层数的增加，网络拟合复杂问题的能力也会增强，对事物特征的挖掘也会更加深入．这里尝试构建一个５层深度的神经网络，包括两个卷积层和两个池化层, 其中输出层为全连接层,如下图示:

(如果第一层卷积用16个核，效果会更好)

程序中对应配置说明:
conv_layer层: 为3x3的卷积层, 8个卷积核, 采用valid_padding(不填充),移动扫描步长为1.
maxpool_layer层: 采用2x2最大池化，步长为2.
convA_layer层: 为3x3的卷积层, 32个卷积核, 采用valid_padding(不填充),移动扫描步长为1.
maxpoolA_layer层: 采用2x2最大池化，步长为2.

输出层output_layer: 一共10个神经元，分别对应0~9数字的可能性，与展平后的maxpoolA_layer层输出进行全连接．
卷积层的激活函数都采用func_ReLU,这样可以很大程度上抑制神经网络的梯度爆炸和消失问题．

2. 实验

 　　取2万条训练样本进行训练，训练后再进行测试，其准确率可超过96%．

 3.问题和心得:

3.1 梯度爆炸和梯度消失
　　在运行本文这个训练程序的时候，你可能会不幸踩到梯度的爆雷，提示"Gradients Explosion!? err is nan or inf!". 不过不要紧, 再来运行一遍嘛。也可以将学习率调小一点。
　　梯度爆炸(或消失)的根本原因是反向传播的链式传导法则，它导致了梯度在反向层层传播时会对后级梯度进行放大或缩小．如果某个节点上的权重梯度不幸处在一个连续放大(或连续缩小)的传导路径上，那么这个权重更新时就会被放大(或缩小)到极大(或极小)的数值从而导致溢出(或变成0)．在这里表现为输出损失值err变成NaN, 或err长时间保持基本无变化．

改进: 在这个程序中梯度爆炸(或消失)的最终结果通常会体现在输出层func_softmax()函数的计算中, 由于e的指数超级大(或小)而造成计算溢出．其实我们可以提前在softmax公式的分子分母上都先除以一个大数(比如e^DBL_MAX_e_EXP)，以降低计算过程中间数值，而保证最后结果不变．

3.2 深度神经网络模型
　　深度神经网络并不是简单的堆叠网络层数，而是要求对每层的输入/输出/结构/参数量等做合理的配置．不仅要保证层与层之间数据流的顺畅，还要保证所需特征信息的充分提取和传导．举个列子，如果将上面第一层和第二层卷积层的核心数量都改成16, 那么其总体效果可能还不如一个三层网络．如此看来, 一些经典的神经网络模型(如LeNet-5等)都值得我们好好学习．

3.3 学习率
　　由于我们这里采用了SGD梯度下降学习法，因此学习曲线会比较曲折, 相对batch-GD方法应该取更小的学习率，这里可以取0.0025(或0.005). 对于大的学习率，踩到梯度雷的概率也会更大．往往大的学习率会造成输出损失值大幅度跳动，不过令人疑惑的是其最终结果可能会更好．另外，对于层数多的神经网络也要相应选取相对小的学习率．

       另外，还可以实时调整学习率，如当发现输出损失值来回跳动时就将学习率减小一半，试验发现这样做可以加快收敛速度。在linux下这个可以简单地用kill发信号量来实现。

3.4 训练终止条件的设置
　　一般对于一个新的模型一时无法知道它最终的收敛状况。这时可以把条件设得严格一些，如把mean_err<=0.0005作为终止条件；或直接设定epoch的计数值，如300。在经过一两轮训练后我们就会知道模型的大概收敛值了。 另外，我们也可以用ctrl+c发个信号让训练终止，但保留此时的参数值，直接进行下一步验证。

4. 源代码：

https://github.com/midaszhou/nnc 下载后编译: make TEST_NAME=test_nnc4

(如果是用git pull更新，那么先make clean)

 

参考资料:

1.  MNIST手写数字集 http://yann.lecun.com/exdb/mnist/

2. LeNet5 介绍: https://www.cnblogs.com/sinpoo/p/15970402.html