深度学习笔记（三）：结构化机器学习项目week 2--机器学习策略2

1.误差分析

1.1 误差分析

当算法还没有到达human level时，你需要去分析算法带来的误差，并且决定接下去应该如何优化，从而减小误差。这个过程叫做误差分析。

将设在猫狗分类的任务上，若dev set上的error有10%，此时你需要找出这些错误的case,然后统计猫错分成狗，和狗错分成猫各自的比例，如果你发现：
狗错分成猫的比例是5%
猫错分成狗的比例是95%
则此时，你无需再花大量时间在处理dog上，否则最多提升5%的正确率；而应该去分析后者。

比如针对猫的图片，将所（一部分）有bad cases找出来之后，依次分析每个badcase造成的原因，并进行统计个二类错误的比例，比如

有了这个表之后，就可以针对每个问题用相应的方法去逐个解决问题。

对error analysis做一个总结
(1)找出所有bad cases
(2)逐一对每个badcase 分析找出原因
(3)分析对应的error 类别
(4)统计不同error类别站总体的比例
(5)发现问题的优先级
(6)构思新的优化方法

1.2 清除错误标注数据

（1）分析错误标注的数据

在训练集中，有人为标记错的样本很正常，因为人也不能百分之百保证正确，但这个标记错分为两类：
a.随机标记错，比如太累了或者没看清，有的时候把猫标成狗，有的时候会把狗标记成猫；
b.系统性错误，比如这批标记的人，就真的没有见过吉娃娃狗，以为他们是猫，于是把所有吉娃娃狗都标记成猫了。

对于随机错误，只要整体的训练样本足够大，则放着也没事，因为深度学习会对训练集中的随机错误有很好的鲁棒性；
但对于系统错误，则必须修正，因为分类器会学到错误的分类
因此，在误差分析中，统计badcase的同事也顺便把标注错误的数据也统计一下，然后分析是否有必要花时间去修正。
若标注错误的比例很小，对dev/test set的评估有较大影响，则需要修正
否则不修改也行。

（2）修正错误标注数据的注意点

• 若对训练集进行修正，记得也要给dev/test set进行同样的操作，以保证它们的分布是一致的。
• 对分类器分对的例子也应该有审核