【机器学习】ROC曲线和RP曲线（分类算法）

已于 2024-08-12 19:03:47 修改
阅读量1.7k 收藏 34
点赞数 55
文章标签： 机器学习 分类 人工智能
于 2024-08-12 18:57:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c___ceeee/article/details/141125125
版权

1. ROC曲线

        ROC曲线，全称为“接收者操作特性（Receiver Operating Characteristic）”曲线，是一种反映灵敏度和特异度关系的图形工具。在机器学习和统计学中，ROC曲线常用于评估分类模型的性能。其主要特点是展示在不同分类阈值下模型的性能表现。通过调整不同的分类阈值，可以得到不同的假阳性率和真阳性率，这些点在ROC曲线中绘制出来，从而展现出模型的整体性能。AUC值（曲线下面积）则是衡量ROC曲线性能的量化指标。当模型的预测能力更好时，AUC值更高。另外，由于ROC曲线综合了准确率、召回率以及区分能力，它常用于不同分类算法之间的性能比较。

       ROC 曲线用于展示在不同的分类阈值下，模型的真正类率（True Positive Rate, TPR）和假正类率（False Positive Rate, FPR）之间的关系。而AUC（Area Under the Curve）值则用以量化 ROC 曲线下的面积，是用于衡量分类器性能的一种指标。AUC值越接近1，表示分类器的性能越好。它考虑了分类器在不同阈值下的性能表现。

1.1 数学基础

  •  True Positive Rate（TPR）也称为灵敏度（Sensitivity）或召回率（Recall），是真正例（True Positive，TP）占所有实际正例（实际正例 = TP + FN）的比例。

  •  False Positive Rate（FPR）也称为1-特异性（1-Specificity），是假正例（False Positive，FP）占所有实际负例（实际负例 = FP + TN）的比例。

 1.2 代码示例

       ROC曲线仅适用于二分类问题，不是二分类问题应首先通过各种手段转为二分类问题。

  • 简单二分类问题：
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

y_label = ([0, 0, 0, 1, 1, 1])
y_pre = ([0.3, 0.5, 0.9, 0.8, 0.4, 0.6])
fpr, tpr, thersholds = roc_curve(y_label, y_pre) # 非二进制需要pos_label用于确定正类
# sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None,
drop_intermediate=True)

for i, value in enumerate(thersholds):
    print("%f %f %f" % (fpr[i], tpr[i], value))

roc_auc = auc(fpr, tpr)
# sklearn.metrics.roc_auc_score(y_true, y_score, average='macro', sample_weight=None)

plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc), lw=2)

plt.xlim([-0.05, 1.05])  # 设置x、y轴的上下限，以免和边缘重合，更好的观察图像的整体
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')  # 可以使用中文，但需要导入一些库即字体
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()
  • 多分类问题——以鸢尾花分类问题（三分类问题）为例：
from matplotlib import pyplot as plt
from sklearn import pipeline
from sklearn.datasets import load_iris
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import label_binarize, StandardScaler
from sklearn.pipeline import Pipeline

# 导入数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0, test_size=0.3)

# 构建预处理和模型管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),  # 数据归一化
    ('knn', KNeighborsClassifier(n_neighbors=3))  # 选择模型
])

pipeline.fit(X_train, y_train)

y_pred = pipeline.predict(X_test)

# 由于ROC和AUC是二分类评估指标，需要对每个类别单独计算并绘制
Y_test_binarized = label_binarize(y_test, classes=[0, 1, 2])
n_classes = Y_test_binarized.shape[1]
fpr = dict()
tpr = dict()
roc_auc = dict()

# 计算每个类别的ROC曲线和AUC
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(Y_test_binarized[:, i], pipeline.predict_proba(X_test)[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

# 绘图
colors = ['aqua', 'darkorange', 'cornflowerblue']
plt.figure()
for i, color in zip(range(n_classes), colors):
    plt.plot(fpr[i], tpr[i], color=color, lw=2, label=f'ROC curve of class {i} (area = {roc_auc[i]:0.2f})')

plt.plot([0, 1], [0, 1], 'k--', lw=2)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()

参考链接：https://blog.csdn.net/ODIMAYA/article/details/103146608

2. PR曲线

       PR曲线是精确率与召回率之间的关系曲线。通过调整分类阈值，可以得到不同的精确率和召回率组合，从而绘制出PR曲线。PR曲线下的面积（AP）也可以作为分类器性能的一个指标。

2.1 数学基础

2.2 代码示例

  • 简单二分类问题：
from sklearn.metrics import precision_recall_curve, average_precision_score
import matplotlib.pyplot as plt

y_test = ([0, 0, 0, 1, 1, 1])
y_pred = ([0.3, 0.5, 0.9, 0.8, 0.4, 0.6])

precision, recall, thresholds = precision_recall_curve(y_test, y_pred)
# sklearn.metrics.precision_recall_curve(y_true, probas_pred, pos_label=None,
sample_weight=None)

# 计算AP
ap = average_precision_score(y_test, y_pred)
# sklearn.metrics.average_precision_score(y_true, y_score, *, average='macro', pos_label=1, sample_weight=None)

print(f"AP: {ap:.2f}")

# 绘制PR曲线
plt.plot(recall, precision, marker='.', label='PR (AP = {:.2f})'.format(ap))
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend()
plt.show()

参考链接：https://blog.csdn.net/weixin_44012667/article/details/139988782?ops_request_misc=&request_id=&biz_id=102&utm_term=pr%E6%9B%B2%E7%BA%BF&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-139988782.142^v100^pc_search_result_base5&spm=1018.2226.3001.4187icon-default.png?t=N7T8https://blog.csdn.net/weixin_44012667/article/details/139988782?ops_request_misc=&request_id=&biz_id=102&utm_term=pr%E6%9B%B2%E7%BA%BF&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-139988782.142%5Ev100%5Epc_search_result_base5&spm=1018.2226.3001.4187

  • 多分类问题——以鸢尾花分类问题（三分类问题）为例：
from matplotlib import pyplot as plt
from sklearn.datasets import load_iris
from sklearn.metrics import auc, precision_recall_curve
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import label_binarize, StandardScaler
from sklearn.pipeline import Pipeline

# 导入数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0, test_size=0.3)

# 构建预处理和模型管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),  # 数据归一化
    ('knn', KNeighborsClassifier(n_neighbors=3))  # 选择模型
])

pipeline.fit(X_train, y_train)
y_pred = pipeline.predict(X_test)

Y_test_binarized = label_binarize(y_test, classes=[0, 1, 2])
n_classes = Y_test_binarized.shape[1]

precision = dict()
recall = dict()
average_precision = dict()

# 获取预测概率
y_scores = pipeline.predict_proba(X_test)

# 计算每个类的精度和召回率
for i in range(n_classes):
    precision[i], recall[i], _ = precision_recall_curve(Y_test_binarized[:, i], y_scores[:, i])
    average_precision[i] = auc(recall[i], precision[i])  # 计算平均精度

# 绘图
plt.figure(figsize=(7, 8))
colors = ['blue', 'orange', 'green']  # 为每个类定义特定颜色
for i in range(n_classes):
    plt.plot(recall[i], precision[i], color=colors[i], lw=2,
             label=f'class {i} (area = {average_precision[i]:0.2f})')

plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")
plt.show()

c___ceeeezzz
关注
python实现二分类和多分类的ROC曲线教程
09-16
在机器学习领域，ROC曲线（Receiver Operating Characteristic Curve）是一种评估分类器性能的重要工具，尤其适用于二分类和多分类任务。ROC曲线通过绘制真正阳性率（True Positive Rate, TPR）与假阳性率（False ...
机器学习之ROC曲线
荒野雄兵的专栏
12-30 1万+
在机器学习中评价分类模型时经常会用到ROC曲线。 要学习ROC曲线首先得知道什么是TPR，什么是FPR。 TPR的英文全称为：True Positive Rate FPR的英文全称为：False Positive Rate 中文解释为： TPR（真正例率）：真实值是正例，且预测为正例的比例 FPR（假正例率）：真实值为负例，而预测为正例的比例 怎么感觉有些绕口令啊？ OK，看下图： 根据上图图示...
什么是ROC曲线
m0_72494332的博客
07-28 3349
而一些原本类别是0的样本，却被预测为了1。随着分类的概率阈值的减少，Sensitivity和1-Specificity也相应增加（也即Specificity相应减少），所以ROC曲线呈从左下角垂直上升到顶线，水平方向向右延伸到右上角的递增态势。ROC曲线图中45度线下的面积是0.5，ROC曲线与它偏离越大，越向左上方靠拢，它下方的面积（AUC）就越大，其AUC值也越接近于1。因此，preddef2比preddef1的AUC值略大，但它们的95%的置信区间存在交叉，因此可以认为它们的预测效果不存在显著差异。
ROC曲线详解
热门推荐
ChasingdreamLY的博客
04-26 15万+
最近学习遇到这个概念，看了半天总算明白了这个曲线的意义。—————————————————————————————————分割线1 ROC曲线的概念受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为 感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一 信号刺激的反应
ROC曲线学习总结
忆殇D.Rose的博客
08-19 9万+
文章目录ROC曲线学习总结1. ROC曲线(Receiver Operating Characteristic)的概念和绘制2. 利用ROC曲线评价模型性能——AUC(Area Under Curve)3. 利用ROC曲线选择最佳模型3.1 不同模型之间选择最优模型3.2 同一模型中选择最优点对应的最优模型3.3 当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变ROC曲线在对分类问...
【ROC曲线】ROC曲线易懂理解与多分类的理解
最新发布
qq_45047062的博客
04-16 8353
ROC曲线，全称Receiver Operating Characteristic Curve（受试者特征曲线）。ROC曲线由灵敏度为纵轴，（1-特异度）为横轴绘制而成。通过绘制ROC曲线可以让读者直观地看到某指标各取值对结局指标的诊断或预测能力。其中名词解释：灵敏度(sensitivity)，即敏感度，是指筛检方法能将实际有病的人正确地判定为患者的比例。特异度(specificity)，是指筛检方法能将实际无病的人正确地判定为非患者的比例。
Roc曲线
m0_37228052的博客
01-06 2万+
一、 应用场景 ROC曲线，也称受试者工作特征曲线，感受性曲线；ROC曲线最初是运用在军事上，当前在医学领域使用非常广泛，用于研究X对于Y的预测准确率情况。 案例： 雷达兵的任务在于监视雷达，观察是否有敌机来袭，当然如果有飞鸟来袭，也会出现信号，如果过于谨慎有信号就报告，会增加误报风险，但如果过于大胆，凡是信号都认为是飞鸟这会出现很大风险。ROC曲线正是解决此类问题，即用于尽最大可能研究敌机信号和飞鸟信号之间的区别，以增加预报准确性。 核心在于研究漏报和误报之间的概率分布情况，横坐标表示飞鸟信息不报
利用Python画ROC曲线和AUC值计算
09-21
总结来说，了解并掌握如何利用Python绘制ROC曲线和计算AUC值，对于理解和评估二分类模型的性能至关重要。在机器学习项目中，我们常常使用这些工具来比较不同模型的效果，从而选择最优模型进行部署。同时，优化计算...
roc曲线绘制2.rar
05-07
ROC曲线，全称为Receiver Operating Characteristic曲线，是评估二分类模型性能的重要工具，特别是在机器学习和深度学习领域，如人脸识别中。ROC曲线通过绘制真阳性率（True Positive Rate, TPR）与假阳性率（False ...
使用机器学习和 ROC 曲线进行决策-研究论文
06-09
接收器操作特征 (ROC) 曲线表示在二元分类问题中发现的统计信息，是机器学习和数据科学中的一个关键概念。 本文研究了 ROC 曲线的统计特性及其对模型选择的影响。 我们分析了不同激励异质性和信息不对称模型对人类...
ROC曲线的含义以及画法
m0_48520385的博客
07-10 3万+
** ROC的含义及画法 ** ROC的全名叫做Receiver Operating Characteristic（受试者工作特征曲线 ），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。ROC曲线以真正例率TPR为纵轴，以假正例率FPR为横轴，在不同的阈值下获得坐标点，并连接各个坐标点，得到ROC曲线。 对于一个分类任务
机器学习——ROC曲线、PR曲线
TXQIHYJ的博客
10-20 2413
目录背景介绍ROC曲线介绍深入ROC曲线的主要用途及其优点补充PR曲线介绍深入使用场景ROC曲线和PR曲线关系具体实现ROC曲线的实现PR曲线的实现实验总结ROC曲线（receiver operating characteristic）是一种对于灵敏度进行描述的功能图像，又称为感受性曲线（sensitivity curve。ROC曲线可以通过描述真阳性率（TPR）和假阳性率（FPR）来实现。由于是通过比较两个操作特征（TPR和FPR）作为标准，ROC曲线也叫做相关操作特征曲线。
机器学习：ROC曲线
m0_72410588的博客
05-07 2114
本篇博客从概念、原理、应用和与AUC值相关的知识点四个方面介绍了ROC曲线的基本知识，并给出了Python实现的示例。尽管ROC曲线不能完全衡量分类器的性能，但是它仍然是一个非常重要的评估指标，可以帮助我们选择更好的分类器模型，提高机器学习的效果和准确率。
多分类的ROC曲线绘制思路
知识搬运者
05-11 7402
我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率）这幅曲线的每个点都对应一个（fpr，tpr），看过之前混淆矩阵的话，感觉一堆数据好像最终只能算出一个fpr和tpr，那是如何获得这么多的点的呢？我们y会有一个预测为正类的概率。
机器学习中的ROC曲线理解和实战
ouzhong11的博客
10-23 7284
ROC最简单的理解，一看就懂了
ROC曲线是什么
pythondby的博客
12-15 8371
与 P-R 曲线相比，ROC 曲线则有更多的优点。下面就来讨论一下 ROC 曲线，以及与其密切相关的 AUC。 ROC曲线 ROC 曲线是英文“receiver operating characteristic curve”的简称，对应的中文含义是“受试者工作特征曲线”。从它略显古怪的名称可以看出，该曲线一开始并非为机器学习领域而设计的。ROC 曲线最早源于军事领域，后来逐渐应用于医学、心理学等领域。在机器学习领域内，ROC 曲线可视为混淆矩阵的改良版：通过不断调整阈值，从而给出不同...
【机器学习】ROC曲线以及AUC面积的原理（理论+图解）
CSDN 精品推荐
07-08 1万+
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、什么是ROC曲线   我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。 该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率） 准确率（accuracy）：（TP+TN）/ ALL..
什么是ROC曲线？为什么要使用ROC?以及 AUC的计算
种花家的奋斗兔的博客
11-25 6万+
一、ROC简介 ROC的全名叫做Receiver Operating Characteristic，中文名字叫“受试者工作特征曲线”，其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对...
鸢尾花机器学习roc曲线
11-15
为了绘制鸢尾花机器学习的ROC曲线，需要进行以下步骤： 1. 加载数据集并进行数据预处理，将标签进行编码。 ```python from sklearn import datasets from sklearn.preprocessing import label_binarize from sklearn.model_selection import train_test_split from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 加载数据集 iris = datasets.load_iris() X = iris.data y = iris.target # 将标签进行编码 y = label_binarize(y, classes=[0, 1, 2]) n_classes = y.shape[1] ``` 2. 将数据集分为训练集和测试集，并进行模型训练和预测。 ```python # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0) # 训练模型并进行预测 # 这里以SVM分类器为例 from sklearn.svm import SVC classifier = SVC(kernel='linear', probability=True, random_state=0) y_score = classifier.fit(X_train, y_train).decision_function(X_test) ``` 3. 计算ROC曲线的假正率（FPR）和真正率（TPR），并计算AUC值。 ```python # 计算ROC曲线的假正率（FPR）和真正率（TPR） fpr = dict() tpr = dict() roc_auc = dict() for i in range(n_classes): fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i]) roc_auc[i] = auc(fpr[i], tpr[i]) # 计算微平均ROC曲线和AUC值 fpr["micro"], tpr["micro"], _ = roc_curve(y_test.ravel(), y_score.ravel()) roc_auc["micro"] = auc(fpr["micro"], tpr["micro"]) ``` 4. 绘制ROC曲线。 ```python # 绘制ROC曲线 plt.figure() lw = 2 plt.plot(fpr[2], tpr[2], color='darkorange', lw=lw, label='ROC curve (area = %0.2f)' % roc_auc[2]) plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic example') plt.legend(loc="lower right") plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值