深度学习笔记（16）误差分析（一）

最新推荐文章于 2023-12-21 19:56:10 发布

氢键H-H

最新推荐文章于 2023-12-21 19:56:10 发布

阅读量1.7w

点赞数 4

分类专栏：深度学习笔记文章标签：误差分析清除错误标记

本文为氢键H-H原创文章，未经允许请勿用于商业用途，转载请注明出处

本文链接：https://blog.csdn.net/qq_32618327/article/details/91127012

版权

深度学习笔记专栏收录该内容

52 篇文章 84 订阅

订阅专栏

深度学习笔记（16）误差分析（一）

1. 进行误差分析
2. 清除标注错误的数据

1. 进行误差分析

假设正在调试猫分类器
然后在开发集取得了90%准确率，相当于10%错误
这离希望的目标还有很远

也许需要看了一下算法分类出错的例子
注意到算法将一些狗分类为猫

试想一下，可以针对狗，收集更多的狗图
或者设计一些只处理狗的算法功能之类的
为了让的猫分类器在狗图上做的更好，让算法不再将狗分类成猫

建议做的是，先收集一下，比如说100个错误标记的开发集样本
然后手动检查，一次只看一个，看看开发集里有多少错误标记的样本是狗
假设事实上，100个错误标记样本中只有5%是狗
就是说在100个错误标记的开发集样本中，有5个是狗
意味着100个样本，在典型的100个出错样本中
即使完全解决了狗的问题，也只能修正这100个错误中的5个

在机器学习中，有时称之为性能上限
就意味着，最好能到哪里，完全解决狗的问题可以有多少帮助

但现在，假设发生了另一件事，假设观察一下这100个错误标记的开发集样本
你发现实际有50张图都是狗，所以有50%都是狗的照片
现在花时间去解决狗的问题可能效果就很好
这种情况下，如果真的解决了狗的问题
那么错误率可能就从10%下降到5%了

在机器学习中，有时候很鄙视手工操作，或者使用了太多人为数值
但如果要搭建应用系统，那这个简单的人工统计步骤，错误分析
可以节省大量时间，迅速决定什么是最重要的

有时在做错误分析时，也可以同时并行评估几个想法
比如，有几个改善猫检测器的想法，也许可以改善针对狗的性能，或者有时候要注意，那些猫科动物，如狮子，豹，猎豹等
所以，也许可以想办法解决这个错误

或者也许发现有些图像是模糊的
如果能设计出一些系统，能够更好地处理模糊图像，也能快速地降低错误率

其实，可以建立一个表格
在最左边，人工过一遍想分析的图像集，图像可能是从1到100
表格的一列就对应要评估的想法，比如狗的问题，猫科动物的问题，模糊图像的问题

在错误分析过程中，看算法识别错误的开发集样本
如果发现第一张识别错误的图片是狗图，那么就在那里打个勾
为了帮助自己记住这些图片，有时会在评论里注释，也许这是一张比特犬的图
如果第二张照片很模糊，也记一下
如果第三张是在下雨天动物园里的狮子，被识别成猫了，这是大型猫科动物，还有图片模糊，在评论部分写动物园下雨天，是雨天让图像模糊的之类的
最后，这组图像过了一遍之后，可以统计这些算法(错误)的百分比
或者这里每个错误类型的百分比，有多少是狗，大猫或模糊这些错误类型

在这里插入图片描述
在做到一半时，有时可能会发现其他错误类型
比如可能发现有Instagram滤镜，花哨的图像滤镜，干扰了分类器

在这种情况下，实际上可以在错误分析途中，增加这样一列
比如多色滤镜 Instagram滤镜和Snapchat滤镜
然后再过一遍，也统计一下那些问题
并确定这个新的错误类型占了多少百分比

例如，在样本中，有很多错误来自模糊图片，也有很多错误类型是大猫图片
所以，这个分析的结果不是说一定要处理模糊图片
这个分析没有给一个严格的数学公式，告诉应该做什么
但它能让你对应该选择那些手段有个概念
比如说不管对狗图片或者Instagram图片处理得有多好
在这些例子中，最多只能取得8%或者12%的性能提升

所以总结一下，进行错误分析，应该找一组错误样本
可能在开发集里或者测试集里，观察错误标记的样本
看看假阳性（false positives）和假阴性（false negatives）
统计不同错误标记类型占总数的百分比
可以帮助发现哪些问题需要优先解决，或者给构思新优化方向的灵感

建议快速搭建一个系统，并进行迭代，有一个训练过的系统，确定偏差方差的范围，能够进行错误分析