AUC TP FP TN FN recall fpr 混淆矩阵

TPR/FPR /召回率/精确率

TPR=召回率，正样本中预测正确的占比；

FPR：负样本中预测为正样本的占比，也就是负样本中预测错误的占比

 

from sklearn import metrics
y_pred = model.predict
y_test = test_set['label']
predictions = [round(value) for value in y_pred]
accuracy = accuracy_score(y_test, predictions)
fpr, tpr, _ = metrics.roc_curve(y_test, predictions)
recall = metrics.recall_score(y_test, predictions)
auc = metrics.auc(fpr, tpr)
# print('fpr:{0}_tpr:{1}'.format(fpr,tpr))
cm = metrics.confusion_matrix(y_test, predictions)

TN = cm[0][0]
FN = cm[1][0]
TP = cm[1][1]
FP = cm[0][1]
fpr = FP / (FP + TN)
# tpr = TP / (TP + FN) # 其实就是 recall

AUC

AUC 即是一个概率值；随机选择 一个正样本和一个负样本，当前分类器 根据计算得到 分数，将这个正样本排在负样本前面的概率就是AUC的值。表示预测的正例排在负例前面的概率。

AUC 计算方式：

（正样本rank + 正样本相等的score 平均 - 正样本个数 * （正样本个数 - 1））/ (正负样本对数，即正样本* * 负样本个数)

ROC曲线

ROC是根绝TPR和FPR来画的，横轴为FPR，纵轴为TPR，我们一直寻找 的是TPR尽量大，FPR尽量小。ROC 曲线根据 【阈值】来确定TPR和FPR。

如果【阈值=0.5】，大于0.5认为是正样本，小于0.5为负样本，如果增大【阈值】，预测错误【针对正样本而言，即是预测是正样本但是预测错误】。

随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。阈值最大时，对应坐标点为(0,0),阈值最小时，对应坐标点(1,1)。