BN的原理:
批规范化(Batch normalization)是深度学习中经常见到的一种训练trick,指在采用梯度下降法训练DNN时,对网络层中每个mini-batch的数据进行归一化,使其均值变为0,方差变为1,其主要作用是缓解DNN训练中的梯度消失/爆炸现象,加快模型的训练速度。
BN的好处和原因:
1.允许较大的学习率,加快模型收敛速度
2.避免深层网络的梯度消失或爆炸问题
3.减少对参数初始化方法的依赖
卷积神经网络
最新推荐文章于 2021-06-21 17:01:28 发布