评估机器学习项目性能的指标

单一数字评估指标（Single number evaluation metric）

查全率（recall）与查准率（precision）

评估机器学习项目的性能的指标最常用的有两个，分别是查全率和查准率。

假如你做了两个识别猫的分类器A和B。当分类器识别图片为猫，记为positive，识别为其他，记为negative。

查全率是指，对于所有的真猫图片，你的分类器正确识别出了多少百分比。
查全率 = 分别器正确识别出为猫的图片数量 / 所有真猫的图片数量 * 100%
英文描述为 recall = true positive/ all positive * 100%

查准率是指，对于所有你的分类器识别为猫的图片，其中真正为猫的图片占的百分比。
查准率 = 分类器正确识别出为猫的图片数量 / 所有分类器识别为猫的图片数量
precision = true positive /（true positive + false positive）* 100%

事实证明，查准率和查全率之间往往需要折中，查准率非常高时，查全率往往会有所降低，反之亦然。
所以当A的查全率>B的查全率，而A的查准率

满足和优化指标

以上的评估标准只是很多标准中具有代表性的一个，在实际的性能评估中，还要考虑“满足和优化指标”。
满足指标是指只要求达到，并不要求最好的指标。比如图像识别的项目中，要求性能达到识别时间不超过0.1秒，只要在这个时间内，无论0.05，0.08秒都可以。

而优化指标是指在达到满足指标的情况下，要求不断优化，力争完美的指标。比如依然是图像识别，已经达到了要求的0.1秒识别，这时准确率就是一个优化指标，在0.1秒内准确率到达95%,再往98%甚至接近百分百的精确度方向不断优化，不设上限。

当考虑了上述两个指标，当分类器A识别图片耗时0.01秒，准确率95%，分类器B耗时0.1秒，准确率99%时，虽然A比B快了10倍，但依然认为B比A的性能优异，因为在达到耗时要求的情况下，B达到了更高的准确率。

这就是满足和优化指标的定义，在开发机器学习项目中有重要的指导作用。

参考：Andrew Ng 的 Structuring Machine Learning Projects