单一数字评估指标(Single number evaluation metric)
查全率(recall)与查准率(precision)
评估机器学习项目的性能的指标最常用的有两个,分别是查全率和查准率。
假如你做了两个识别猫的分类器A和B。当分类器识别图片为猫,记为positive,识别为其他,记为negative。
查全率是指,对于所有的真猫图片,你的分类器正确识别出了多少百分比。
查全率 = 分别器正确识别出为猫的图片数量 / 所有真猫的图片数量 * 100%
英文描述为 recall = true positive/ all positive * 100%
查准率是指,对于所有你的分类器识别为猫的图片,其中真正为猫的图片占的百分比。
查准率 = 分类器正确识别出为猫的图片数量 / 所有分类器识别为猫的图片数量
precision = true positive /(true positive + false positive)* 100%
事实证明,查准率和查全率之间往往需要折中,查准率非常高时,查全率往往会有所降低,反之亦然。
所以当A的查全率>B的查全率,而A的查准率
满足和优化指标
以上的评估标准只是很多标准中具有代表性的一个,在实际的性能评估中,还要考虑“满足和优化指标”。
满足指标是指只要求达到,并不要求最好的指标。比如图像识别的项目中,要求性能达到识别时间不超过0.1秒,只要在这个时间内,无论0.05,0.08秒都可以。
而优化指标是指在达到满足指标的情况下,要求不断优化,力争完美的指标。比如依然是图像识别,已经达到了要求的0.1秒识别,这时准确率就是一个优化指标,在0.1秒内准确率到达95%,再往98%甚至接近百分百的精确度方向不断优化,不设上限。
当考虑了上述两个指标,当分类器A识别图片耗时0.01秒,准确率95%,分类器B耗时0.1秒,准确率99%时,虽然A比B快了10倍,但依然认为B比A的性能优异,因为在达到耗时要求的情况下,B达到了更高的准确率。
这就是满足和优化指标的定义,在开发机器学习项目中有重要的指导作用。
参考:Andrew Ng 的 Structuring Machine Learning Projects