Rethinking the Distribution Gap of Person Re-identi cation with Camera-based Batch Normalization论文笔记

1. 摘要

所解决的问题:行人重识别一大难点就是难以处理多摄像头下特征的差异问题。
创新点：提出基于摄像头的BN层(Camera-based Batch Normalization), 通过计算每一个摄像头下图像的均值和方差来分别对各个摄像头下的图像特征进行标准化，从而消除不同摄像头下的域差异。

2. 基础知识

BN层(Batch Normalization)

• 机器学习基本假设：独立同分布假设，就是假设训练数据和测试数据是满足相同分布的。
• 神经网络学习本质： 学习数据的分布。
  如果不是独立同分布会造成：
  • 训练数据与测试数据的分布不同，那么网络的性能和泛化能力也大大降低。
  • 不同batch之间的分布不同，那么网络就要在每次迭代的时候去学习以适应不同的分布，这样将会大大降低网络的训练速度，所以需要transform时进行Normalization预处理

BN层:就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，意思是这样让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

内部相关性变换：在网络的前向传播过程中，每一层输出的分布在不断地改变。如果分布不能固定下来