腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略

 

 

神经网络的成功建立在大量的干净数据和很深的网络模型基础上。但是在现实场景中数据和模型往往不会特别理想，比如数据层面有误标记的情况，像小狗被标注成狼，而且实际的业务场景讲究时效性，神经网络的层数不能特别深。

 

腾讯优图不断迭代数据和模型缺陷情况下神经网络的有效训练方法，通过noisy label learning和collaborative learning技术，实现用比较浅的网络解决noisy dataset问题。相关技术已经在腾讯的众多业务场景上（行人重识别，内容审核等）落地。本文整理自腾讯优图和机器之心联合主办的「CVPR2020线上分享」，分享嘉宾为腾讯优图实验室高级研究员Louis。

 

刻画noisy label与任务目标

 

一般来讲，noisy label是可以通过一个噪音转移矩阵T来刻画，也就是noise transition matrix T。人为设计一个噪音转移矩阵T，之后如果我们知道这个数据集中 clean label的分布，将这个分布乘以T就可以得到noisy label的分布。有了noisy label分布和对应的数据集之后，就可以进行很多带噪方法的验证。

 

接下来用数学描述来刻画一下我们带噪学习的目标。对于一个分类任务，我们的目标可以写成下面的形式，x和y代表样本和对应的label, 在今天的语境下F是神经网络。我们的任务目标是在数据集下优化一个loss function，使得在noisy label下训练得到的解，在性能上接近在clean label下训练得到的解，那么数学表达就是，f ̃是f的一个子集。

 

 

 

各显神通，主要带噪学习方法探索

 

关于带噪学习，近些年有一些重要论文。

 

NeurlPS 2018上的一篇论文(Generalized Cross Entropy Loss Training Deep Neural Networks with Noisy Labels)提出GCE loss（Generalized Cross Entropy loss）。它的背景是，MAE以均等分配的方式处理各个sample，而CE（cross entropy）会向识别困难的sample倾斜，因此针对noisy label，MAE比CE更加鲁棒，但是CE的准确度更高，拟合也更快。于是这篇文章提出GCE loss，结合MAE与CE二者的优势。

 

还有的论文(LDMI: A Novel Information-theoretic Loss Function for Training Deep Nets Robust to Label Noise, NeurlPS 2019)是基于信息论设计的loss function，Deterministic information loss。它的Motivation是想寻找一个信息测度（information measure）I。假设在I下任意存在两个分类器f、f’，如果在噪音数据集下，通过I, f比f’表现得更好，那么在干净数据集下，f比f’表现得也好，也就是说它在噪音数据集和干净数据集上满足一致性。如果在噪音数据集下它表现得好，通过一致性，在干净数据集下表现得也一定很好。

 

把时间往前推进一下，讲一些目前正在审稿中的文章(Peer Loss Functions: Learning from Noisy Labels without Knowing Noise Rates (under review)

；Loss with Paired Samples: A Robust Learning Approach that Adapts to Label Noise (under review)，关于Peer loss。Peer loss是由两个loss function的加权得到的，比如l1, l2。α是一个超参数，衡量两个loss的权重大小。l1、l2可以是任