本文转自:https://blog.csdn.net/hduxiejun/article/details/70570086
1.侧抑制(lateral inhibition)
2.计算公式
Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:
公式看上去比较复杂,但理解起来非常简单。i表示第i个核在位置(x,y)运用激活函数ReLU后的输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K,n,alpha,belta都是超参数,一般设置k=2,n=5,aloha=1*e-4,beta=0.75。
3.后期争议
在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本没什么用。
在Alexnet模型中首次提出这个概念。
参考文献:
[LRN]:ImageNet Classification with Deep Convolutional Neural Networks