week7_初识卷积网络

模型

数据集：mnist
模型简介

• 两层卷积
• 2个全连接网络
  探索的参数有：
• 激活函数
• 正则化 (正则化因子 )
• 权重初始化
• 卷积(kernel的大小、个数，stride,3个参数）
• 池化（使用的Maxpool）
• batch
• epoch

实验过程总结

1. 调整Maxpool的时候，报错了，不知道是不是因为源数据的维度必须是maxpool的维度的整数倍，在有stride的情况下，可能需要是maxpool+stride的维度的整数倍，还没有试过，下次可以试一下。
2. 可以将初始化的方法保存在数组中调用。
3. 调参的时候，可以将卷积的层数加进去。
4. 做gridSearch的时候，多去观察实验过程中的损失函数和准确率等的变化，一些参数的设置如果让结果不好反坏的话，及时终止，减少时间和资源的浪费。

参数对结果的影响

1. stride的影响（随着增大，准确率下降。对padding的参数也有影响）
   
2. epoch的影响。本次实验中，在epoch=10的时候，准确率已经能达到98%，在20和30的时候，有所增加。但是到40的时候几乎没有变化，有时候反而有所下降。
3. 激活函数的影响，relu>selu ,sigmoid收敛的慢一点，准确率也要低很多。
4. dropout的影响，加入后，收敛的要慢一点。

疑惑的地方

1. 在训练的前期，训练集的准确率低于测试集。（是因为训练集比测试集大吗？）