LRN局部响应标准化

• 全称：local response normalization
• 最早来源于论文AlexNet中提到的：
• i：代表下标，你要计算像素值的下标，从0计算起
  j：平方累加索引，代表从j～i的像素值平方求和
  x,y：像素的位置，公式中用不到
  a：代表feature map里面的 i 对应像素的具体值
  N：每个feature map里面最内层向量的列数
  k：超参数，由原型中的blas指定
  α：超参数，由原型中的alpha指定
  n/2：超参数，由原型中的deepth_radius指定
  β：超参数，由原型中的belta指定
• LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法
• LRN对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
• 对局部归一化的理解
• 注：为什么输入数据需要归一化（Normalized Data）？
  • 原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；
  • 另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。
  • 对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。
  • 一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。