【结构化机器学习项目】Lesson 2--机器学习策略2

课程来源：吴恩达 深度学习课程 《结构化机器学习项目》
笔记整理：王小草
时间：2018年6月3日

---

1.误差分析

1.1 误差分析

当算法还没有到达human level时，你需要去分析算法带来的误差，并且决定接下去应该如何优化，从而减小误差。这个过程叫做误差分析。

将设在猫狗分类的任务上，若dev set上的error有10%，此时你需要找出这些错误的case,然后统计猫错分成狗，和狗错分成猫各自的比例，如果你发现：
狗错分成猫的比例是5%
猫错分成狗的比例是95%
则此时，你无需再花大量时间在处理dog上，否则最多提升5%的正确率；而应该去分析后者。

比如针对猫的图片，将所（一部分）有bad cases找出来之后，依次分析每个badcase造成的原因，并进行统计个二类错误的比例，比如

image	像狗	像大的猫科动物	图片太模糊	…	comments
1	√			√	pitbull
2		√
3			√
…
%of taotal	8%	43%	3%	…

有了这个表之后，就可以针对每个问题用相应的方法去逐个解决问题。

对error analysis做一个总结
(1)找出所有bad cases
(2)逐一对每个badcase 分析找出原因
(3)分析对应的error 类别
(4)统计不同error类别站总体的比例
(5)发现问题的优先级
(6)构思新的优化方法

1.2 清除错误标注数据

（1）分析错误标注的数据

在训练集中，有人为标记错的样本很正常，因为人也不能百分之百保证正确，但这个标记错分为两类：
a.随机标记错，比如太累了或者没看清，有的时候把猫标成狗，有的时候会把狗标记成猫；
b.系统性错误，比如这批标记的人，就真的没有见过吉娃娃狗，以为他们是猫，于是把所有吉娃娃狗都标记成猫了。

• 对于随机错误，只要整体的训练样本足够大ÿ