pytorch BatchNorm 实验
pytorch BatchNorm 实验百度了一圈,也没有找到pytorch BatchNorm详细解译能让自己十分明白的,没办法自己做一下实验记录下吧,然后结合百度的进行理解BatchNorm2d一般用于一次前向运算的batch size比较多的情况(100~200) , 但是当batch size较小时(小于16时),效果会变差,这时使用group norm可能得到的效果会更好它的公式可以表示为y=x−E[x]Var[x]+ϵ∗γ+βy = \frac{x - \mathrm{E}[x]}{
原创
2020-11-15 17:00:02 ·
367 阅读 ·
0 评论