不同类型的噪声会对模型的分类性能产生什么样的影响呢，让我们一同进行实验，来探索那暗中作祟的标签噪声！
作者&编辑 | 郭冰洋
1 简介
在数据集制作过程中，由于主观、客观的原因，会导致标签噪声的出现，其存在会对最终的分类模型性能造成一定的影响。因此，在实际应用过程中，总是要对现有的数据集进行清洗，以避免标签噪声的干扰。
常见的标签噪声包括跨类别噪声和随机噪声两种。跨类别噪声是指属于数据集某一确定类别的图片，被误分至属于数据集的另一确定类别。随机噪声是指属于数据集某一确定类别的图片中，有大量与类别标签不相关的图片，同时这些图片不属于数据集中的任何一类。
本篇文章我们将以Cifar 10、Cifar 100数据集作为实验数据，对标签噪声进行探究，以测试不同类型、不同比例的噪声对分类模型的影响。
2 实验记录
2.1 无标签噪声的训练结果
首先我们通过构建最基本的CNN网络对两个数据进行分类，在正常图片且无标签噪声的情况下，Cifar 10和Cifar 100分别取得了89.2%和65.8%的准确率，以此作为基础结果，我们将分别添加不同的噪声进行对比。
2.2 含标签噪声的训练结果
通过设置不同的噪声类别和比例，对其进行训练后我们得出相应的准确率，可以发现随着噪声比例的增加，分类模型的准确率会受到相应的影响，跨类噪声的影响明显更大。
对比实验的结果告诉我们，标签噪声的存在会对模型产生一定的影响，这一影响在数据集容量相对较少时会更加明显，这是目前急需解决的一个问题。
3 解决方案
3.1 混淆矩阵推理
为了减少噪声的影响，最直接的方法是人工对数据集中的错误标签进行一一筛选，但这样会耗费大量的人力和时间，并非最可取的方法。
在评价分类模型的准确率时，我们往往会通过分析混淆矩阵以查看不同类别的预测结果，通过混淆矩阵我们可以得到每个类别预测正确和错误的个数，近似的认为预测错误的类别属于跨类标签噪声。
在跨类噪声比例20%的情况下，我们得出相应的混淆矩阵结果如上表所示，可以看出每个类别中均有预测错误的样本出现。
针对这些错误的预测样本，随机将其划入其他类别，并进行重新训练，若混淆矩阵的预测结果可以得到进一步的提升，则保留图像至该正确样本。
通过3次的迭代训练，我们对模型的结果进行重新评估，可以发现其准确率得到的非常大的提升。
3.2 数据统计分析
除了上述根据混淆矩阵的结果进行迭代修正的方法，目前主流的方法还包括数据统计分析，即通过对现有的图像数据进行相应的预处理，借助回归分析、分箱分析等传统的机器学习算法，事先剔除不属于某一类别的图像，然后进行训练。随后再对剔除的图像进行测试，得到对应的预测类别后重新划分数据集，再进行重新训练。
总结
迭代训练的方式可以减少人工修改标签的时间，但同样会消耗一定的训练时间，目前还没有一个完全高效妥善的方式可以解决这一问题，因此还需要各位去发掘更多更有效的算法去解决这一问题。
有三AI夏季划
有三AI夏季划进行中，欢迎了解并加入，系统性成长为中级CV算法工程师。
转载文章请后台联系
侵权必究
往期精选
【技术综述】你真的了解图像分类吗？
【技术综述】多标签图像分类综述
【图像分类】分类专栏正式上线啦！初入CV、AI你需要一份指南针！
【图像分类】从数据集和经典网络开始
【图像分类】 基于Pytorch的多类别图像分类实战
【图像分类】细粒度图像分类是什么，有什么方法，发展的怎么样
【图像分类】 基于Pytorch的细粒度图像分类实战
【图像分类】简述无监督图像分类发展现状
【图像分类】 关于图像分类中类别不平衡那些事
【图像分类】 实战图像分类网络的可视化
215
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
