机器学习性能评估指标

混淆矩阵：

True Positive (TP)：真正例，正类预测为正类数；
False Negative (FN)：假反例，正类预测为反类数；
False Positive (FP)：假正例，反类预测为正类数；
True Negative (TN)：真反例，反类预测为反类数；

1、Accuracy：准确率

准确率Accuracy:预测正确的样本（TP+TN）占总样本的比例

2、Precision：精确率/查准率

精准率/查准率Precision：预测的真正例（TP）占预测为正例数的比例
预测为正例数有两种情况：一种是真正例 (TP)，正类预测为正类数；另一种是假正例 (FP)，反类预测为正类数
Precision是针对预测结果而言的，分母是预测为正类的样本，

3、Recall：召回率/查全率

召回率/查全率Recall：预测的真正例（TP）占实际为正例数的比例
实际为正例数有两种情况：一种是真正例 (TP)，把原来的正类预测为正类；另一种是假反例 (FN)，把原来的正类预测为反类；
Recall是针对样本而言的，分母是原来正类的样本。

4、F-Score：F值

当Precision和Recall出现矛盾时，用F-Score对Precision和Recall加权调和平均：

当参数α=1时，就是F1值

5、ROC曲线

ROC的曲线：
横坐标FPR（True Positive Rate）：将正例分对的概率

纵坐标FPR（False Positive Rate）：将负例错分为正例的概率


点(0,0)：即FPR=FP/(FP+TN)=0，FP＝0;TPR=TP/(TP+FN)=0,TP=0分类器预测所有的样本都为负样本（Negative）；没有样本被预测为正样本（Positive），则当前的阈值设定为最高时，必得出ROC左下角的点 (0, 0)。
点(0,1)：即FPR=FP/(FP+TN)=0, FP=0;TPR=TP/(TP+FN)=1，TP＝1，所有的样本均被正确分类，最好的分类器
点(1,0)：即FPR=FP/(FP+TN)=1，FP=1,TN=0;
TPR=TP/(TP+FN)=0，TP=0;所有的样本均被错误分类，最差的分类器
点(1,1)：FPR=FP/(FP+TN)=1,FP=1,TN=0;TPR=TP/(TP+FN)=1,TP=1,FN=0;分类器预测所有的样本都为正样本（Positive），没有样本被预测为负样本（Positive），即当阈值设定为最低时，必得出ROC座标系右上角的点 (1, 1)。

6、曲线下面积AUC

在比较不同的分类模型时，可以将每个模型的ROC曲线都画出来，比较曲线下面积AUC做为模型优劣的指标。AUC值越大的分类器，正确率越高。

AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

参考：
https://www.jianshu.com/p/b960305718f1