BN(Batch Normalization)层的详细介绍
1.BN层的前世:LRN层( Local Response Normalization)
没有提出BN层之前,Alexnet网络使用LRN层来处理归一化的。
LRN(局部响应归一化)
bx,yib^i_{x,y}bx,yi是归一化后的值,i是通道的位置,代表更新第几个通道的值,x与y代表待更新像素的位置。
ax,yia^i_{x,y}ax,yi 是输入值,是激活函数Relu的输出值
k、a...
转载
2019-04-08 15:10:53 ·
1780 阅读 ·
0 评论