原始结果:
将第一个平均池化改为最大池化
1.将平均池化层替换为最大池化层,会发生什么?
答:损失减小 精度提高
2.尝试构建一个基于LeNet的更复杂的网络,以提高其准确性。
调整卷积窗口大小。
- 卷积核改为3*3 最大池化
注意:在设计模型时要清楚每层输出的特征图大小
注意看这里,来更改全连接层的维度
- 3*3卷积核 平均池化
调整输出通道的数量。
调整激活函数(如ReLU)。
relu lr=0.1 epoch=90
调整卷积层的数量。
调整全连接层的数量。
调整学习率和其他训练细节(例如,初始化和轮数)。
学习率=0.1
有一点点过拟合
学习建议:
天真:
现在模型设计不是这样做了,一般情况下,激活函数不用sigmoid
天真:
而且在训练过程中会使用BN防止过拟合
天真:
全连接层一般会按照前一层的一半设计,如果接近128,256,512这些值时,可以设计成这样的
天真:
学习率一般不会设计的这么大
天真:
分类模型可以从0.1开始尝试,如果效果不好,可以变成0.01,这样去看哪个学习率合适
天真:
同时batchsize要跟着学习率改变,学习率变小,batch的值可以给大点,让模型多每个batxh多学习些样本
天真:
你可以看13里的那个kaggle的分类
天真:
以那个来学习
天真:
lenet模型问题很多,很多地方都会造成训练出问题
天真:
现代神经网络已经很少使用全连接了,一般都是展平后直接到分类数进行分类
结论:最大池化>平均池化 5*5>3*3 relu>sigmoid 小学习率 高迭代次数