本文转自:http://www.shareditor.com/blogshow/?blogId=59
效果评估是模型选择和算法设计的重要步骤,知道评估优劣才能选择最佳的模型和算法,本节介绍一些有关评估方法的定义,凡是在统计或大数据领域都用得到
真阳性
true positives, TP
真阴性
true negatives, TN
假阳性
false positives, FP
假阴性
false negatives, FN)
准确率
分类器预测正确性的比例,可以通过LogisticRegression.score() 来计算准确率
精确率
分类器预测出的脏话中真的是脏话的比例
P=TP/(TP+FP)
召回率
也叫灵敏度。所有真的脏话被分类器正确找出来的比例。
R=TP/(TP+FN)
知乎大神的通俗解释:
假设你的女票在过去10年(还没修成正果?)里,每年都会送一份生日礼物给你,有一天,她突然问你:
“记得这十年里你生日我都送过什么吗?”
这不是一个简单的问题,或者说这不是一个问题,这就是一颗雷
为了续命,你随即对自己的大脑进行了地毯式搜索,
这时,召回率(Recall)就等于你回答正确的礼物数和你女票在你生日时送你的礼物数的总和的比值:
比如,你准确地回答出10件礼物,那么召回率就为:10/10即100%
如果只准确地回忆起了7件,那么召回率(Recall)就是70%
但是,你所有的回答中可能有错误回答,比如,你一共给出了15个答案,其中5个是错的,这证明,你虽然可以回答出所有礼物,但是却不那么精确,因此,精确率这个概念便出现了:
精确率(Precision)就是10/15,约为67%
对比一下:
综合评价指标
F-measure,精确率和召回率的调和均值。精确率和召回率都不能从差的分类器中区分出好的分类器,综合评价指标平衡了精确率和召回率。
1/F+1/F=1/P+1/R即
F=2*PR/(P+R)
误警率
假阳性率,所有阴性样本中分类器识别为阳性的样本所占比例
F=FP/(TN+FP)
ROC(Receiver Operating Characteristic)
ROC曲线画的是分类器的召回率与误警率(fall-out)的曲线