机器学习（9）误差分析、查准率和召回率

误差分析

在构建模型时，Andrew Ng教授建议以下步骤：
首先快速构建一个粗糙的模型，不要求精度，并通过交叉检验来测试模型。然后通过学习曲线的方法来查看更多特征、更多数据集是否起作用，即确定构建的模型是否存在高偏差或者高方差的情况。还可以通过误差分析的方式，比如我们在构建完一个垃圾邮件分类模型后，用交叉检验来测试模型，我们重点分析分类错误的邮件特征，并以此来调整模型。可以构建一个实数性的指标，来对是否对模型做出调整依据，比如：交叉检验错误率。

不对称性分类的误差分析

假设有如下这种情况：
某个癌症预测模型，预测患者得癌症为1，没有患病为0。假设有一堆案例，其中患病的比例为0.5%,也就是样本集中，两类样本的数量差距过大。而这个模型的错误率为1%。但是如果我们有另一种模型它不管输入什么，输出的结果都为0，那么它的错误率就为0.5%。
很明显第二种模型不具备预测功能，但是却比第一种模型错误率低，所以对于不对称性分类的样本集而言，像交叉检验错误率这种指标就不太适用， 需要新的指标来评估算法。

查准率和召回率

这两个指标对不对称性分类具有良好的效果。接着上例，我们把预测的和实际的结合一下：

从左到右，从上到下分别是：真阳性，假阳性，假阴性，真阴性。
这很好理解，我们把得癌症的为阳性，即为1，没有的癌症的为阴性，即为0。

查准率$=\frac{真阳性}{真阳性+假阳性}$，就是预测阳性正确的数量除以总预测阳性的数量。
召回率=$\frac{真阳性}{真阳性+假阴性}$，就是预测阳性正确的数量除以样本中所有阳性的数量。
有了这两种指标，算法模型就不能通过只预测0来欺骗我们，因为两个指标都为0。所以这两个指标肯定越高越好，但是到具体问题就要有所侧重。

查准率和召回率的权衡

当我们处理癌症预测等逻辑回归问题时，可以通过调整临界值。逻辑回归都会使用$sigmoid$函数一般情况下我们一般把临界值都设为0.5。

可以通过调整临界值来对查准率和召回率权衡。

侧重查准率

假设我们希望在非常有把握的情况下，得到阳性结果，把临界值从0.5增加到0.7，或者0.9等，这时候预测的阳性结果准确性比较高，可信度较大，但是召回率就偏低了，因为预测阳性的数量变少了。

侧重召回率

假设我们希望不漏掉阳性患者，即宁可错杀，不可放过。把临界值从0.5减小到0.4，或者0.2等，这时候预测的阳性结果数量变多，假阴性比较少，但是查准率就比较低，因为预测阳性的数量变多了。

查准率和召回率的调和平均数

假设有三种算法，它们对应的查准率和召回率如上图，这时候我们就会陷入难以抉择的境地，因为有两个变量，不知道那个模型更好。这时候我们就需要一个评估度量值。
第一种，求二者的平均值。

第二种，求二者的调和平均数。

计算结果如下图：

很明显，当使用平均数为评估度量值时，算法三最优，也就是高召回率，很多误伤，这不是一个好的评估度量值。
当使用调和平均数为评估度量值时，算法一最优，它充分考虑了查准率和召回率，不会选择偏向一方的算法。
总之， 查准率和召回率的调和平均数能很好地作为评估度量值，帮助我们选择合理的参数和模型。