LightCNN: 用于数据清洗的网络

A Light CNN for Deep Face Representation with Noisy Labels

最近的工作需要对CELEB-500K的人脸ID数据进行清洗，原论文中先使用Celeb-Face数据集训练预模型，在这里我们选用了 LightCNN 作为训练网络。
LightCNN
github

论文精读

• 文章中提出了一种 Light CNN架构的卷积神经网络，适用于有大量噪声的人脸识别数据集;
• 提出了 maxout 的变体，叫做 Max-Feature-Map (MFM)
  maxout 使用多个特征图进行任意凸激活函数的线性近似，MFM 使用一种竞争关系选择凸激活函数，可以将噪声与有用的信息分隔开，也可以在两个特征图之间进行特征选择;
• 设计了 LightCNN9, LightCNN29及LightCNN29-V2，可以在性能可计算量之间做出选择;
• 提出一种 semantic bootstrapping method，使网络预测更符合噪声标签;

模型架构

• LightCNN9：
  整合 Network in Network 中特征选择的方法和 VGG 中小卷积核的思想，设计了一个9层的网络，参数量较少，但性能较好;

  
  

• LightCNN29
  加入了 ResNet 的參差模块，但是參差模块中移除了 BN 层，因为样本中有大量非人脸噪声，与人脸数据相差过大，强制归一化反而效果不会好，另外，当 batch_size 很小时也不宜使用 BN，太少的样本无法进行分布统计;