《Machine Learning》第七讲 Precision and Recall

1. 设计流程

       在设计一个机器学习算法时，设计流程如下：
       首先从一个简单的算法开始，然后尽快地去实现这个算法并在验证集中去测试，最后再收集测试结果；
       第二步是根据前面学习到的模型，绘制学习曲线图，再分析曲线图来决策是过拟合的问题还是欠拟合的问题；
       第三步则是误差分析，人工的来检测你的学习算法在验证集中出现错误的样本，看看能不能发现某些系统性的规律（比如说在垃圾邮件分类系统中，看看能不能发现什么类型的邮件总是被错误分类）；

       重复这个过程之后，每次都会发现一些这个系统的短处，然后去修正它，然后不断地提高这个系统的预测精度。

2.误差分析（Error Analysis）

       上图给出了误差分析的步骤，比如在一个垃圾邮件分类系统中，我们学习到的算法，在500组数据的交叉验证集中，有100组发生了错误，于是我们来分析这些错误分类数据的类别，假如有12组为卖药类的邮件、4组为卖仿造品类的邮件、53组为钓鱼类的邮件，剩下的是其他的，那么我们应该主要研究钓鱼类的邮件，看