cifar10分类实验笔记

1、softmax回归，准求率 test: 0.31, train: 0.33        欠拟合。

2、三层神经网络，准确率 test: 0.39, train: 0.44       参数这么多还欠拟合，所以网络结构很重要。

3、卷积神经网络，第一层[5*5*32]  stride=1  max_pool [2*2] stride=2; 第二层[3*3*64]....

     然后，接一层全链接，再接softmax回归。  准确率 test：0.58，train：0.80

     轻微欠拟合，又有过拟合。

4、在3的基础上，把第一层卷积改成2个[3*3]串联。准确率 test：0.64，train: 0.87

     借鉴了vgg，卷积层增加，参数变少，模型泛化能力更强了。

5、在3的基础上，把全连接层改成卷积层接全局平均池化层。 准确率 test：0.41，train：0.45      欠拟合

6、在5的基础上，把第二层卷积[3*3]改成[3*1]和[1*3]串联。准确率 test：0.44，train: 0.52         欠拟合

     借鉴了inception v3，卷积层怎加，参数变少，训练速度变快很多，模型变强。

7、在6的基础上，把第一层卷积核改成[3*3]。准确率 test：0.43，train:  0.50            欠拟合

     第一层卷积核变小，模型稍微变弱一点。

8、在5的基础上，把第一层卷积核[5*5]改成[5*1]和