sklearn.metrics中ROC曲线只画出一个点的解决

搜了好多好多，终于感觉自己有点柳暗花明的感觉，我不是写博客，我只是博客的搬运、总结工，希望对大家有用，努力总结。

首先什么是ROC曲线

ROC（Receiver Operating Characteristic curve)曲线，根据一系列不同的二分类方式，将假阳性率FPR（False Postive Rate）作为横坐标轴，真阳性率TPR（True Postive Rate)）作为纵坐标轴进行绘制曲线，描述的是一个模型的性能。

图片示例：

相关概念：

1. 真阳性（True Positive，简称TP），也就是预测为真，实际上也为真的数据，对应上表左上角单元格。
2. 假阳性（False Positive，简称FP），也就是预测为真，但实际上为假的数据，对应上表右上角单元格。
3. 假阴性（False Negative，简称FN），也就是预测为假，但实际上为真的数据，对应上表左下角单元格。
4. 真阴性（True Negative，简称TN），也就是预计为假，实际上也为假的数据，对应上表右下角单元格。

对于ROC曲线，横纵坐标的指标：
$$TPR=\frac{TP}{P}=\frac{TP}{TP+FN}$$
$$FPR=\frac{FP}{N}=\frac{FP}{FP+TN}$$
真阴性率(True Negative Rate)：
$$TNR=\frac{TN}{N}=\frac{TN}{TN+FP}$$
假阴性率(False Negative Rate)：
$$FNR=\frac{FN}{P}=\frac{TN}{FN+TP}$$

作图

ROC曲线：不同门限（判决的阈值）下真阳性率（纵轴）和假阳性率所构成的曲线。当你取定一个阈值时，就可以算出对应的TPR、FPR，并在图中找到对应点，当你取完不同阈值，就可以得到样本对应的ROC曲线。

我们将曲线与x轴的面积定义为AUC（Area Under Curve），即ROC曲线下的面积。其中，AUC越大，代表分类器的效果越好。因此，A的效果要比B、C好得多。

AUC的取值范围通常为【0.5，1】之间，倘若一个模型的AUC的值小于0.5，那么我们便认为这个模型是没有意义的。

基于sklearn.metrics的roc_curve(true, predict) 做ROC曲线

一定注意predict参数是一组概率值，做ROC曲线相当于一组不同的概率阈值。不是模型最终的分类结果标签，应当是分类结果中真阳性标签值得概率（重点），可以看函数源码，有详细参数解释。

Y_pred = parallel_model.predict(val_X0,batch_size=batch)  #val_X0为数据
Y_pred =Y_pred[:500]                                      #Y_pred为数据的预测值(预测的标签)
Y_train=val_Y0[:500]              #Y_train 为数据的真实标签，这里是one hot 格式一个样本对应2*1的标签
#############################

Y_pred_0 = [y[1] for y in Y_pred]  # 取出y中的一列(应当是真阳性的一组概率阈值)
Y_train0 = [y[1] for y in Y_train]

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve
from sklearn.metrics import auc
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import recall_score,accuracy_score
from sklearn.metrics import precision_score,f1_score
from keras.optimizers import Adam,SGD,sgd
from keras.models import load_model
#Y_train0为真实标签，Y_pred_0为预测标签，注意，这里roc_curve为一维的输入，Y_train0是一维的
fpr, tpr, thresholds_keras = roc_curve(Y_train0, Y_pred_0)   
auc = auc(fpr, tpr)
print("AUC : ", auc)
plt.figure()
plt.plot([0, 1], [0, 1], 'k--')
plt.plot(fpr, tpr, label='S3< val (AUC = {:.3f})'.format(auc))
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC curve')
plt.legend(loc='best')
#plt.savefig('A_ROC/0123-4val.jpg')
plt.show()    

这里用了8220个样本，如果更多，样本会更加平滑，如果样本数少，会出现锯齿状，都是正常的。

折线ROC的出现：有人可能会奇怪为什么他画出来的图是这种只有一个拐点的

这也是上文为什么用如下代码：

Y_pred_0 = [y[1] for y in Y_pred]  # 取出y中的一列(应当是真阳性的一组概率阈值)

如果只选出最大值，可能就是一个点的阈值ROC曲线

Y_pred = model.predict(X_valid)
Y_pred = [np.argmax(y) for y in Y_pred]  # 取出y中元素最大值所对应的索引
Y_valid = [np.argmax(y) for y in Y_valid]

fpr, tpr, thresholds_keras = roc_curve(Y_valid, Y_pred)

我理解，拐点应当都是选择了一个最优的阈值进行作图。
代码参考链接如下：link.

总结

注意roc_curve(true, predict)函数中第二个参数的值，不是分类结果的标签值，应当是分类为真阳性标签的概率值。
如果觉得对您有用请给个赞。