目录
一、模型评估介绍
1.分类模型评估
2.回归模型评估
二、ROC和AUC
1.理论知识
AUC概念理解: https://www.zhihu.com/question/39840928?from=profile_question_card
ROC全称是“受试者工作特征”(Receiver Operating Characteristic)。ROC曲线的面积就是AUC(Area Under the Curve)。AUC用于衡量“二分类问题”机器学习算法性能(泛化能力)。
ROC曲线是二值分类问题的一个评价指标。它是一个概率曲线,在不同的阈值下绘制TPR与FPR的关系图,从本质上把“信号”与“噪声”分开。
AUC越大表明当前分类算法分类效果越好
截断点(阈值)取不同的值,TPR和FPR的计算结果也不同。将截断点不同取值下对应的TPR和FPR结果画于二维坐标系中得到的曲线,就是ROC曲线。横轴用FPR表示。
2.ROC曲线分析
random chance这条直线是随机概率,一半的概率是对的,一半的概率是错的。如果低于这条线,说明算法极差,都不如随机猜的。因此在这条线的左边说明算法还好点。
3.TPR与FPR的计算过程
y = [0,0,1,1]
y_pre = [0.1,0.5,0.3,0.8]
阈值分别取:0.1,0.3,0.5,1
阈值为0.1时
y1=[1,1,1,1]
阈值为0.3时
y2=[0,1,1,1]
阈值为0.5时
y3 = [0,1,0,1]
阈值为0.8时
y4 = [0,0,0,1]
三、实例
1.实例1
sklearn.metrics.roc_curve介绍: https://blog.csdn.net/sun91019718/article/details/101314545
# AUC举例-画出ROC曲线
import numpy as np
# 模型评估
from sklearn import metrics
import matplotlib as mpl
import matplotlib.pyplot as plt
if __name__ == '__main__':
y = np.array([0, 0, 1, 1])
y_pred = np.array([0.1, 0.5, 0.3, 0.8])
# 返回三个数组结果分别是fpr(假正率),tpr(召回率),threshold(阈值)
# 参数为真实结果数据、预测结果数据(可以是标签数据也可以是概率值)
fpr,tpr,threshold = metrics.roc_curve(y,y_pred)
# # np.insert将向量插入某一行或列
# fpr = np.insert(fpr, 0, 0)
# tpr = np.insert(tpr, 0, 0)
print(fpr)
print(tpr)
print(threshold)
# 计算AUC的值
auc = metrics.auc(fpr, tpr)
print