机器学习面试题（2）局部响应归一化Local Response Normalization有什么作用？

（1）神经学的启发。在神经生物学中，有一个概念叫做侧抑制（lateral inhibitio ），指的是被激活的神经元会抑制它周围的神经元，局部响应归一化就是借鉴“侧抑制”的思想来实现局部抑制，当我使用relu激活函数的时局部抑制更明显。

（2）削弱数据差异。归一化数据处理可以消除数据之间的量纲差异，便于数据利用与快速计算。

（3）增强网络泛化能力。对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。LRN通过在相邻卷积核生成的feature map之间引入竞争，从而有些本来在feature map中显著的特征更显著，而在相邻的其他feature map中被抑制，这样让不同卷积核产生的feature map之间的相关性变小。