Batch Norm虽说的确很powerful,但是使用它还是有一定风险的。。。(虽然之前看到过,BatchNorm只有好处没有坏处。)
然而,在项目过程中,BatchNorm给我带来了一些不好的影响,不仅使训练速度下降了许多,而且致使最终结果无法收敛,当不使用BatchNorm技术时,速度提高了许多,且精度也上去了。
因此,在做项目过程中,不要一上来就BatchNorm,也要测试一下非BatchNorm时候的情况。
Batch Norm虽说的确很powerful,但是使用它还是有一定风险的。。。(虽然之前看到过,BatchNorm只有好处没有坏处。)
然而,在项目过程中,BatchNorm给我带来了一些不好的影响,不仅使训练速度下降了许多,而且致使最终结果无法收敛,当不使用BatchNorm技术时,速度提高了许多,且精度也上去了。
因此,在做项目过程中,不要一上来就BatchNorm,也要测试一下非BatchNorm时候的情况。