机器学习的基本指标

FP,TP,FN,TN

（1）伪阳性率（FPR）：判定为正例却不是真正例(FP)的概率，即真负例中判为正例的概率，即FPR=FP/(FP+TN)
（2）真阳性率（TPR）：判定为正例也是真正例(TP)的概率，即真正例中判为正例的概率（也即正例召回率），即TPR=TP/(TP+FN)
（3）伪阴性率（FNR）：判定为负例却不是真负例(FN)的概率，即真正例中判为负例的概率，即FNR=FN/(TP+FN)
（4）真阴性率（TNR）：判定为负例也是真负例(TN)的概率，即真负例中判为负例的概率，即FNR=TN/(FP+TN)

Accuracy准确率=（TP+TN） / （TP+FP+TN+FN）， 即预测正确的比上全部的数据

Precision（精确率）=TP / （TP+FP），即在预测为正向的数据中，有多少预测正确了

Recall（召回率）=Sensitivity=TPR=TP / （TP+FN），即在所有正向的数据中，有多少预测正确了

FPR=FP/(FP+TN)，负正类率

Specificity=TN/(TN+FP)=1-FPR，真负率，可理解为错误的被判断为错误的

AUC和ROC

ROC曲线的横坐标是伪阳性率（也叫假正类率，False Positive Rate），纵坐标是真阳性率（真正类率，True Positive Rate）

AUC = ROC曲线下的面积（积分）

在进行学习器的比较时，若一个学习器的ROC曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者；若两个学习器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则比较合理的判断依据是比较ROC曲线下的面积，即AUC(Area Under ROC Curve)。

AUC的意义：

• 因为是在1x1的方格里求面积，AUC必在0~1之间。
• 假设阈值以上是阳性，以下是阴性；
• 若随机抽取一个阳性样本和一个阴性样本，分类器正确判断阳性样本的值高于阴性样本的概率 = AUC 。
• 简单说：AUC值越大的分类器，正确率越高。

从AUC 判断分类器（预测模型）优劣的标准：
AUC = 1，是完美分类器。
AUC = [0.85, 0.95], 效果很好
AUC = [0.7, 0.85], 效果一般
AUC = [0.5, 0.7],效果较低，但用于预测股票已经很不错了
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

参考资料

百度百科-AUC和ROC
CSDN-机器学习常用指标