Batch Normalization
LRN(Local Response Normalization)Normalization是深度神经网络中一项最常用也是最重要的技术之一。BN的出现,逐渐替代了LRN。说到LRN就不得不提到神经生物学中的一个概念叫做lateral inhibition(横向抑制),简单来说就是兴奋的神经细胞抑制周围的神经细胞的能力。应用到深度神经网络中,这种横向抑制的目的是进行局部对比度增强,以便将局部特征在下一层得到表达。假设取n为3,现在计算(x, y, i)位置上LRN的值,便可以(x, y, i)为中心,
原创
2020-07-08 15:39:33 ·
134 阅读 ·
0 评论