【论文阅读】NIPS2018 Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels

论文地址：http://papers.nips.cc/paper/8072-co-teaching-robust-training-o

论文代码：https://github.com/bhanML/Co-teaching （PyTorch）
针对噪声数据的训练，目前主要有两种方式：

• 训练noise transition matrix，例如：在softmax输出之后再接一层softmax
• 先从带噪数据中选出干净数据，再用干净数据训练模型

从带噪数据选出干净数据的两个典型网络：

• Mentor Net：训练一个额外的网络来选取干净数据
• Decoupling：两个网络A/B，A!=B时才更新参数，缺点：噪声数据可能分布在整个样本空间中，包括A != B的样本，这种情况下Decoupling无法剔除噪声数据；
  Mentor-Net/Decoupling/Co-teaching随着训练轮数的增加，误差传递情况：