在其他参数基本一致的情况下,单独调整batchsize,来查看一下对训练的影响.
记录下不同batch normalization位置情况下最终训练model在test集上测试的结果
训练模型
下面是一个训练模型的summary,我将在此模型下修改batch size然后观察数据变化
这个是之前的训练网络,分别在三个地方加入Batch Normalizatioin来看一下效果。
![在这里插入图片描述](https://img-blog.csdnimg.cn/2021061111304543.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pbWlkdWNr,size_16,color_FFFFFF,t_70)
加在第一层
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210611113213437.png)
加在第二层
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210611113238566.png)
加在第三层
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210611113158722.png)
不敢妄称结论,但从现象来看,似乎Batch Normalizatioin加在网络的后面比前面层效果要好一点。