1. 错误率:
e = 错误分类个数/总样本数
2. 正确率:
TP:分类正确正例
TN:分类正确负例
FP:分类错误正例
FN:分类错误负例
precision = 分类正确的正类/(预测结果中被分为正类的个数) = TP/(TP+FP)
3. 召回率:
recall = 分类正确的正类/(所有正类的个数) = TP/(TP+FN)
4. F1 score
5. ROC曲线
ROC(receiver operating characteristic)“受试者工作特征”。ROC纵轴为“真正例率”(TPR),横轴是“假正例率”(FPR),其中:
TPR = 分类正确正例/ 所有正例 = TP/(TP+FN)
FPR = 分类错误的正例/ 所有负例 = FP/(TN+FP)
生成过程:
① 将分类结果按照分成正例的概率从小到大排序,最左边即最不可能是正例的例子;
② 从左往右依次将每个样例设为阈值,阈值左边(包含当前样例)均判为正例,右边均判为负例;
③ 然后计算对应的TPR和FPR,即为RUC的一个坐标;(计算tipes:假设上一轮的坐标为(x,y)若当前的阈值是正例则更新y = y + 1/正例个数,若当前值是反例则更新x= x + 1/反例个数)。
由上图:
① 左上角表示性能最佳的分类器(所有样例分类正确),右下角表示性能最差的分类器(所有样例分类错误)。
②ROC曲线越靠左上角,分类器性能越好。
③图中的虚直线表示“随机猜测”的ROC线,也就是有50%的样例被预测错误;
③ ROC所围成的区域的面积称为AUC,AUC越大分类效果越好。AUC > 0.5, 效果好于随机猜测。AUC = 0.5, 效果和随机猜测一样。AUC<0.5, 效果不如随机猜测。AUC代表了分类器的平均性能。
图中2和3的ROC曲线覆盖了1的,说明2和3的分类性能好;2和3的ROC曲线大部分重合,为了判断哪个更好,可以使用AUC面积来比较。