Roc曲线评价标准

1、一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（Truepositive）,如果实例是负类被预测成正类，称之为假正类（False positive）。相应地，如果实例是负类被预测成负类，称之为真负类（True negative）,正类被预测成负类则为假负类（false negative）。

真正  TP：正确肯定的数目；

假负  FN：漏报，没有正确找到的匹配的数目；

假正  FP：误报，给出的匹配是不正确的；

真负  TN：正确拒绝的非匹配对数；

2、列联表如下表所示，1代表正类，0代表负类。

		预测
		1	0	合计
实际	1	True Positive（TP）	False Negative（FN）	Actual Positive(TP+FN)
	0	False Positive（FP)	True Negative(TN)	Actual Negative(FP+TN)
合计		Predicted Positive(TP+FP)	Predicted Negative(FN+TN)	TP+FP+FN+TN

 

真正率（TruePositive Rate , TPR）或灵敏度（sensitivity）

TPR = TP /（TP + FN）  （正样本预测结果数 / 正样本实际数）

假负率（FalseNegative Rate , FNR）

FNR = FN /（TP + FN） = 1 - TPR（被预测为负的正样本结果数 / 正样本实际数 ）

假正率（FalsePositive Rate , FPR）

FPR = FP /（FP + TN） （被预测为正的负样本结果数 /负样本实际数）

真负率（TrueNegative Rate , TNR）或特指度（specificity）

TNR = TN /（TN + FP）= 1 - FPR （负样本预测结果数 / 负样本实际数）

目标属性的被选中的那个期望值称作是“正”（positive）

 

其中，两列Truematches和True non-match分别代表应该匹配上和不应该匹配上的

两行Pred matches和Pred non-match分别代表预测匹配上和预测不匹配上的

3、roc

在一个二分类模型中，对于所得到的连续结果，假设已确定一个阀值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。如果减小阀值，减到0.5，固然能识别出更多的正类，也就是提高了识别出的正例占所有正例 的比类，即TPR,但同时也将更多的负实例当作了正实例，即提高了FPR。为了形象化这一变化，在此引入ROC，ROC曲线可以用于评价一个分类器。

 

ROC曲线上几个关键点的解释：

(TPR=0,FPR=0 ) 把每个实例都预测为负类的模型

(TPR=1,FPR=1 ) 把每个实例都预测为正类的模型

(TPR=1,FPR=0 ) 理想模型

 

一个好的分类模型应该尽可能靠近图形的左上角，而一个随机猜测模型应位于连接点（TPR=0,FPR=0）和（TPR=1,FPR=1）的主对角线上。

 

4、AUC

ROC曲线下方的面积（Area Under the ROC Curve, AUC）提供了评价模型平均性能的另一种方法。如果模型是完美的，那么它的AUC = 1，如果模型是个简单的随机猜测模型，那么它的AUC = 0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大

ROC曲线概念