1.ROC曲线和PR曲线是什么?
ROC曲线和PR曲线是用来评估机器学习算法性能的重要指标。
举一个例子:当分类算法在过滤垃圾邮件时,会有四种结果:对合法邮件保留,也可能产生失误,过滤了合法邮件;还有可能保留了一些垃圾邮件,最后就是正确过滤了垃圾邮件。
在机器学习中,有一个普遍适用的称为混淆矩阵(confusion matrix)的工具,它可以帮助人们更好地了解分类中的错误。
预测结果 | |||
+1 | -1 | ||
真实结果 | +1 | 真正例(TP) | 伪反例(FN) |
-1 | 伪证例(FP) | 真反例(TN) |
真正例(True Positive):指正确分类成为正的样本数,实际为正,预测为正
伪反例(False Positive): 指错误分类为正的样本数,实际为负,预测为正
伪反例(False Negative):指错误分类为负的样本数,实际为正,预测为负
真反例(True Negative):指正确分类为负的样本数,实际为负,预测为负
在ROC曲线中,以FPR为x轴,TPR为y轴,FPR指实际负样本中被错误预测为正样本的概率。TPR指实际正样本中被预测正确的概率。
ROC曲线:
1.
将模型预测结果从高到低排序,将每次概率值依次作为阈值,那
么就可以得到多个混淆矩阵,对应
(TPR1
,
FPR1),…,(TPRn
,
FPRn)
。
2.
以
FPR
为横坐标,
TPR
为纵坐标,画出曲线。
在PR曲线中,以Recall(为x轴,Precision为y轴。Recall与TPR的意思相同,而Precision指正确分类的正样本数占总正样本的比例。
2.试用python绘制PR曲线:
import matplotlib
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
plt.xlabel('Recall')
plt.ylabel('Precision')
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
plt.plot(precision, recall)
plt.show()