画交叉验证的ROC曲线，多个样本不同的ROC重叠。

最近在画交叉验证的ROC曲线。由于我采用的是留一法来做10折交叉，这就导致我每一折的样本数量是不固定的，但我又想画一个平均的校验验证性能曲线，并且把置信区间也画出来，找了很久资料，我画了一个这样的。先看效果图，如下图：
中间蓝色的是平均的ROC，周围蓝色的带是所有的交叉验证触及的最大范围。因为交叉验证需要多次抽样，但我用的是深度学习，很难做到抽样，所以就用最大范围代替置信区间。具体做法如下：

from my_utils.utils import *
from sklearn.metrics import auc, plot_roc_curve, roc_curve
import my_utils.file_util as fu
import matplotlib.pyplot as plt
class_type = '1p19q'
#图表的保存路径
save_path = ''
#存放所有交叉验证的预测结果和label的文件路径
record_dir  = ''
#find_file是我自己写的寻找路径下所有best-auc.csv文件的函数，用的时候可以替换成自己的
#返回的是所有csv文件的绝对路径。文件格式是第一和第二列是预测值，第三列label。
#因为我用的是one hot做二分类，所以有两个值
flods_dir = find_file(record_dir, 2,1, suffix='best_auc.csv')
pre_record = []
#获取所有交叉验证的预测值和label
for record_file in flods_dir:
    temp = fu.csv_reader(record_file)
    temp_fold_record = []
    #因为是二分类，所有只取第一个预测值，第二个不要
    temp_fold_record.append([i[0] for i in temp])
    #取label值
    temp_fold_record.append([i[2] for i in temp])
    pre_record.append(temp_fold_record)

roc_record, value, fpr, tpr = [], [], [], []

for record in pre_record:
    label = np.array([int(i) for i in record[1]]).squeeze()
    pred = np.array([float(i) for i in record[0]]).squeeze()
    #计算roc曲线
    t_fpr, t_tpr, thre = roc_curve(label, 1-pred)
    #计算AUC
    auc_score = auc(t_fpr, t_tpr)
    fpr.append([float(i) for i in t_fpr])
    value.extend([float(i) for i in t_fpr])
    tpr.append([float(i) for i in t_tpr])

mean_fpr, min_fpr, max_fpr = [],[],[]
mean_tpr, min_tpr, max_tpr= [],[],[]
#这个是为了对曲线进行插值，因为每个曲线的样本不一样，所以获取到的fpr和tpr也不一样长度，
#所以需要进行插值
#插值的原理是，获取所有fpr的值，然后将每个交叉验证的roc都插值成和fpr的值一样多的长度。
#插值并不会改变每个roc曲线的形状，这个可以放心使用
unique = np.unique(np.array(value).flatten())
#对fpr和tpr进行插值
for l in range(len(fpr)):
    tpr[l] = np.interp(unique, fpr[l], tpr[l], 0, 1)
    fpr[l] = np.interp(unique, fpr[l], fpr[l], 0, 1)
    #将每个交叉验证的ROC都画出来
    plt.plot(fpr[l], tpr[l])

fpr = np.array(fpr)
tpr = np.array(tpr)
#求fpr和tpr的极大极小，获取每个实验所能触及的最大指标范围
min_fpr = np.min(fpr, axis=0)
max_fpr = np.max(fpr, axis=0)
min_tpr = np.min(tpr, axis=0)
max_tpr = np.max(tpr, axis=0)
#获取均值，为了得到交叉验证的平均曲线
mean_tpr = np.mean(tpr, axis=0)
mean_fpr = np.mean(fpr, axis=0)
mean_tpr[0] = 0

plt.figure(dpi=300)
plt.title(class_type)
plt.style.use('seaborn')
plt.xlabel('1-Specificity')
plt.ylabel('Sencitivity')
#画平均曲线
p1 = plt.plot(mean_fpr, mean_tpr, marker='.', 
        linestyle='--',c='b', linewidth=1,
         alpha=0.65, label='20X')#markeredgecolor='b',

plt.legend(loc='lower right')
#将极大极小值的范围填充淡蓝色
p2 = plt.fill_between(min_fpr,max_tpr, min_tpr,color='blue', alpha=0.08)
#展示图象
plt.show()

下面附上每个交叉验证的图像来验证范围画的对不对。

再对比我们画的
可以看到啊，我们画的范围与所有ROC的曲线的范围是吻合的，平均曲线也像模像样。