网络中BN层的作用
BN层的作用主要有三个:
加快网络的训练和收敛的速度
控制梯度爆炸防止梯度消失
防止过拟合
分析:
(1)加快收敛速度:在深度神经网络中中,如果每层的数据分布都不一样的话,将会导致网络非常难收敛和训练,而如果把 每层的数据都在转换在均值为零,方差为1 的状态下,这样每层数据的分布都是一样的训练会比较容易收敛。
(2)防止梯度爆炸和梯度消失:
以sigmoid函数为例,sigmoid函数使得输出在[0,1]之间,实际上当x道了一定的大小,经过sigmoid函数后输出范围就会变得很小
梯
原创
2022-03-07 11:54:00 ·
875 阅读 ·
0 评论