【DL】优化/元算法/BatchNormalization(批标准化)
【DL】优化/元算法/BatchNormalization(批标准化)前言为什么深度神经网络难优化?为什么加入BN之后可以降低优化难度?加入BN层的缺陷以及改进方法总结
前言
BatchNormalization算法是一种自适应重参数化的算法,其本质上不是优化算法,也不是正则化算法,但是其可以大幅度提升优化算法的性能,并且带有一定的正则化效果。
在一些训练数据很大的场景中,BatchNormaliztion的正则化功效显著,甚至可以使dropout等算法变得可有可无。但其主要还是作为一种降低网络优化难度的元
原创
2021-08-22 13:09:06 ·
221 阅读 ·
0 评论