lenet实验结果对比

原始结果：

将第一个平均池化改为最大池化



1.将平均池化层替换为最大池化层，会发生什么？
答：损失减小 精度提高
2.尝试构建一个基于LeNet的更复杂的网络，以提高其准确性。
调整卷积窗口大小。

• 卷积核改为3*3 最大池化

注意：在设计模型时要清楚每层输出的特征图大小

注意看这里，来更改全连接层的维度

• 3*3卷积核 平均池化
  

调整输出通道的数量。
调整激活函数（如ReLU）。
relu lr=0.1 epoch=90

调整卷积层的数量。
调整全连接层的数量。

调整学习率和其他训练细节（例如，初始化和轮数）。
学习率=0.1



有一点点过拟合

学习建议：

天真:
现在模型设计不是这样做了，一般情况下，激活函数不用sigmoid

天真:
而且在训练过程中会使用BN防止过拟合

天真:
全连接层一般会按照前一层的一半设计，如果接近128，256，512这些值时，可以设计成这样的

天真:
学习率一般不会设计的这么大

天真:
分类模型可以从0.1开始尝试，如果效果不好，可以变成0.01，这样去看哪个学习率合适

天真:
同时batchsize要跟着学习率改变，学习率变小，batch的值可以给大点，让模型多每个batxh多学习些样本

天真:
你可以看13里的那个kaggle的分类

天真:
以那个来学习

天真:
lenet模型问题很多，很多地方都会造成训练出问题

天真:
现代神经网络已经很少使用全连接了，一般都是展平后直接到分类数进行分类

结论：最大池化＞平均池化　５＊５＞３＊３ relu>sigmoid 小学习率 高迭代次数