由于BatchNorm层需要大于一个图像输入,当最后一个批数据恰好只剩一个图像就会报此错误,解决方案:
if num_of_imgs > 1:
'''continue training'''
认为设置长度小于2丢掉就好了
补充:
2.BN带来的好处。
(1) 减轻了对参数初始化的依赖,这是利于调参的朋友们的。
(2) 训练更快,可以使用更高的学习率。
(3) BN一定程度上增加了泛化能力,dropout等技术可以去掉。
3.BN的缺陷
从上面可以看出,batch normalization依赖于batch的大小,当batch值很小时,计算的均值和方差不稳定。
作者:言有三
链接:https://www.zhihu.com/question/38102762/answer/607815171
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。