ImageNet 中的 LRN

LRN（Local Response Normalization）

LRN

神经网络初学者，没有什么理论基础，偶然看到个ImageNet，就准备从其入手，先弄懂每层的含义，其中这个LRN层真是让人百思不得其解，搜索了下，给出的介绍比较少。为什么会比较少呢，搜索到最后我得出的结论是，这货似乎没什么多少卵用。。。

ImageNet中的LRN层是按下述公式计算的：

但似乎，在后来的设计中，这一层已经被其它种的Regularization技术，如drop out, batch normalization取代了。知道了这些，似乎也可以不那么纠结这个LRN了。

http://cs231n.github.io/convolutional-networks/ 是关于CNN的一篇很好的介绍。

From

ImageNet中的LRN（Local Response Normalization)