基于Keras的LeNet-5的超参数调节实验

一．使用技术说明
1.Keras是一个神经网络API，用python编写，以Tensorflow、CNTK、Theano开源深度学习库为后端。可以在短时间内上手入门，具备模块化、以扩展等特点。支持卷积网络，能在CPU和GPU上无缝运行。
2.tensorflow是谷歌公司开发的开源深度学习库，与theano、CNTK等深度学习框架相比，star和follow人数最多。使用Keras和tensorflow的组合可以快速搭建神经网络、卷积神经网络等深度学习模型，支持GPU训练，易于上手，接口简洁。

二．实验设计
本实验使用LeNet-5模型结构，三层卷积、二层池化、三层全链接。在LeNet-5模型中，需要调节的参数众多，包括激活函数、梯度下降、训练集的规模、训练轮次、超参数。如果对每个参数都进行调节，会出现爆炸式的实验结果，过程繁杂。
其中梯度下降中的参数（学习率，优化函数）对准确度的收敛速度起较大作用，对准确度的大小影响不大。激活函数对损失函数求导找最小值有影响，对准确度的大小影响也不大。训练集和测试集使用mnist手写识别数据集，60000张训练集、10000张测试集。本实验使用此数据集，不做改动。最后的训练轮次、超参数作为实验的重点。超参数选取卷积核大小和步长，卷积核的个数使用LeNet-5原模型数值。本组其他三名成员分别在C1 、S1、C2层对卷积核和步长进行实验，寻找准确度最高的情况下的超参数值。
最优参数实验的整体思路是首先在原模型的基础上改变训练轮次epoch的大小，寻找epoch的最优值。之后使用此epoch值分别在C1 、S1、C2层上对卷积核和步长两个变量进行寻优。以C1层为例，在其他变量（S1层之后的所有参