机器学习：PR曲线和ROC曲线

最新推荐文章于 2024-06-11 21:00:00 发布
最新推荐文章于 2024-06-11 21:00:00 发布
阅读量530 收藏 1
点赞数 1
文章标签： 机器学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62087156/article/details/133837990
版权

文章目录

                        简介

                        PR曲线

                                        PR原理

                                        PR曲线的绘制

                                        分析

                        ROC曲线

                                         ROC原理

                                         ROC曲线的绘制

                                         分析

                        实验总结

简介：

机器学习建模中，模型评估指标用于评估不同模型的优劣。模型在训练集上的误差通常称为 训练误差 或 经验误差，而在新样本上的误差称为 泛化误差。为了得到泛化误差小的模型，在构建机器模型时，通常将数据集拆分为相互独立的训练数据集、验证数据集和测试数据集等，

ROC曲线和PR曲线是机器学习中两个常见的评估指标，在评价一个检测模型时通常需要绘制出其 ROC 曲线或 PR 曲线。只要我们有数据和模型，得到数据阀值，我们就可以在python中绘 制出我们的ROC和PR曲线。

PR曲线

原理：

PR曲线实则是以precision（精确率）和recall（召回率）这两个为变量而做出的一种评估二分类模型性能的曲线，以recall（召回率）为横坐标，precision（精确率）为纵坐标，反映了准确率随查全率的变化趋势。PR曲线常被用在信息提取领域，当我们的数据集中类别分布不均衡时我们可以用PR曲线代替ROC。

什么是精确率什么是召回率？

准确率（Accuracy）准确率是指分类正确的样本占总样本个数的比例。

精确率（recision，也叫查准率）表示预测为正例的样本中真正为正例的比例

召回率（recall，也叫查全率）表示所有真正实例中被正确预测为正例的比率

 混淆矩阵

精确率

                               

召回率

                       

精确率和召回率的关系：

如上如所示，当PR曲线越靠近右上方时，表明模型性能越好，不同模型进行比较时，若一个模型的PR曲线被另一个模型的PR曲线完全包住则说明后者的性能优于前者。模型的PR曲线发生了交叉，则无法直接判断哪个模型更好。

PR曲线的绘制

import matplotlib
import numpy as np
import matplotlib.pyplot as plt

#生成实例数据
#处理数据时经常需要从数组中随机抽取元素，这时候就需要用到np.random.choice()。
#numpy.random.choice(a, size=None, replace=True, p=None)
#从a(只要是ndarray都可以，但必须是一维的)中随机抽取数字，并组成指定大小(size)的数组
x = np.random.choice(2,size=1000,p=[0.7,0.3])
y = np.random.rand(1000)
#cumsum的作用主要就是计算轴向的累加和,根据公式计算Precision和Recall
TP = np.cumsum(x == 1 )
FP = np.cumsum(x == 0 )
precision = TP/(TP+FP)
recall = TP/np.sum(x)
# 绘制PR曲线
plt.xlabel(x)
plt.ylabel(y)
plt.xlabel('查全率(R)')
plt.ylabel('查准率(P)')
plt.plot(recall, precision, marker='.')
plt.grid(True)
plt.show()
    
plot(recall, precision)
 
 # 积分计算平均精确度，设z = 0，通过二维面积法,下图有详解用法；
#def plot(recall, precision):
    #z = 0
    #for i in range(len(recall)-1):  
        #z += (recall[i+1] - recall[i]) * precision[i+1]

        #plt.title('Average Precision: {:.3f}'.format(z))

分析：

ROC曲线

原理：

在衡量学习器的泛化性能时，根据学习器的预测结果对样本排序，按此顺序逐个把样本作为正例进行输出，每次计算测试样本的真正率TPR，和假正率FPR并把这两项作为ROC的纵轴和横轴．

真正率(True Postive Rate)衡量实际值为正例的样本中被正确预测为正例的样本的比例

假正率(False Postive Rate)表示实际值为负例的样本中被错误的预测为正例的样本的比例

如上图所示，当ROC曲线接近于(1,0)点，表明模型泛化性能越好，越接近对角线的时候，表明此时模型的预测结果为随机预测结果。但此只是理想模型，在实际中ROC曲线没有这么光滑。

AUC (Area under Curve)：ROC曲线下的面积，介于0.1和1之间，作为数值可以直观的评价分类器的好坏，值越大越好

ROC曲线的绘制

import numpy as np
from sklearn import metrics
import matplotlib.pyplot as plt

y = np.array([1, 1, 2, 2])
scores = np.array([0.1, 0.4, 0.35, 0.8])

fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)

# auc的输入为很简单，就是fpr, tpr值
auc = metrics.auc(fpr, tpr)

#画图
plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

分析：

多模型对比ROC绘制

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_curve, roc_auc_score
from sklearn.model_selection import train_test_split

# 生成样本数据
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化分类器
classifiers = [
    ('Logistic Regression', LogisticRegression()),
    ('Decision Tree', DecisionTreeClassifier()),
    ('Random Forest', RandomForestClassifier())
]

# 遍历每个分类器，训练并绘制ROC曲线
for name, classifier in classifiers:
    classifier.fit(X_train, y_train)
    y_pred_proba = classifier.predict_proba(X_test)[:,1]
    fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
    auc = roc_auc_score(y_test, y_pred_proba)
    plt.plot(fpr, tpr, label=f'{name} (AUC = {auc:.2f})')

# 绘制基准线
plt.plot([0, 1], [0, 1], 'k--', label='Random Guess')

# 设置图例、标题、坐标轴标签等信息
plt.legend()
plt.title('Receiver Operating Characteristic (ROC) Curve')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.show()

分析：

对于一条凸型ROC曲线来说，曲线越靠近左上角越好，越往下越糟糕，曲线 如果在虚线的下方，则证明模型完全无法使用。但是它也有可能是一条凹形的ROC曲线。对于一条凹型ROC曲线来 说，应该越靠近右下角越好，凹形曲线代表模型的预测结果与真实情况完全相反。

ROC曲线原理和代码演示_roc曲线评价模型代码-CSDN博客

 此篇有完整的实现绘制过程，包含：

1. ，导入库，加载数据集

2.定义绘制模型拟合数据的效果图函数

3.训练模型

4.评估模型

5.绘制ROC

实验总结

  • PR曲线：当数据集类别分布非常不均衡的时候采用PR曲线

  • ROC曲线：主要应用于测试集中的样本分布的较为均匀的情况，且当测试集中的正负样本的分布变化的时候

PR曲线的纵轴，即查准率的分母，即预测为正例的数目会不断增大，而分子TP有上限，所以其会迅速下降，意味着模型性能迅速变差，可以体现类别不均衡对模型产生的影响。如果想要评估在相同的类别分布下正例的预测情况，PR曲线比较合适。PR曲线常被用在信息提取领域，当我们的数据集中类别分布不均衡时我们可以用PR曲线代替ROC。

而ROC曲线中横轴是在负例基础上计算，纵轴是在正例基础上计算，二者分母是不变的，分子在都在不断增加（和类别均衡时没有特别大的差异），没有很好地体现出样本类别分布不平衡对模型产生的影响，甚至导致对模型性能有错误的解释，因此此时不适用评估单个模型是好是坏。由于兼顾正例与负例，所以适用于评估分类器的整体性能。ROC曲线更适用于评估不同分类器的整体性能，ROC曲线还可以通过计算AUC值来综合评价分类器的性能。

 过拟合

当学习器把训练样本学的“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象称为过拟合。具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。

过拟合的原因：

  1. 训练数据中噪音干扰过大，使得学习器认为部分噪音是特征从而扰乱学习规则。
  2. 建模样本选取有误，例如训练数据太少，抽样方法错误，样本label错误等，导致样本不能代表整体。
  3. 模型不合理，或假设成立的条件与实际不符。
  4. 特征维度/参数太多，导致模型复杂度太高。

过拟合的解决办法：

数据增强; 通过一定规则扩充数据；保留验证集；获取额外数据进行交叉验证；降低模型复杂度；增加噪音等

欠拟合

欠拟合是指对训练样本的一般性质尚未学好。在训练集及测试集上的表现都不好。

欠拟合的原因

1.模型复杂度过低
2.特征量过少

欠拟合的解决办法

减小正则化系数；增加模型复杂度；增加特征数等

づ红岩乁
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
P-R曲线的绘制
weixin_55773387的博客
10-20 1万+
“p” 是precition，是查准率，也是我们常用到的准确率。 “r” 是recall，是查全率，也叫召回率。
PR曲线的绘制
weixin_54881329的博客
11-06 4861
P-R曲线就是关于精确率precision和召回率recall的曲线，recall为横坐标，precision 为纵坐标。T表示正确预测；F表示错误预测；N表示预测为负样本；P表示预测为正样本
Python包sklearn画ROC曲线和PR曲线
renwu
08-16 2133
【代码】Python包sklearn画ROC曲线和PR曲线。
机器学习——性能度量（PR曲线和ROC曲线）
m0_70744324的博客
10-11 1746
性能度量：衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。P为precision即精准率（查准率），R为recall即召回率，所以P-R曲线是反映了准确率与召回率之间的关系。一般横坐标为recall，纵坐标为precision。ROC全称Receiver Operating Characteristic，即受试者工作特征，坐标图式的分析工具。
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
最新发布
算法金「全网同名」的博客
06-11 1037
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
绘制ROC曲线和PR曲线
qq_64051333的博客
10-23 407
如何绘制ROC曲线和PR曲线
PR曲线
Cleansely的博客
12-17 413
文章目录流程生成假数据PR计算绘图 流程 一组数据，已知类别和预测得分，按得分排序 将得分的各个值作为阈值，计算精确率和召回率 绘制图像 生成假数据 数据：label，score 假数据中 score大于0.5，则label以70%取‘t’，以此类推 import random data = [] for i in range(200): score = random.random() if score > 0.5: if random.random() >
ROC曲线与PR曲线的绘制
queerjid的博客
10-22 273
在本次实验中，探索了使用KNN模型对某个数据集进行分类的方法，将数据集分为训练集和测试集，使用KNN模型对测试集进行分类，并计算了AUC和Average Precision等性能指标。通过实验，发现KNN模型在该数据集上具有较好的分类性能。接下来，进行了一些进一步的实验，调整K值，得出结论：当k=7时AUC与Average Precision最大，这意味着KNN模型在这个数据集上表现最佳。总之，这个实验增强了我对KNN模型的理解和掌握，并学习了如何绘制ROC和PR曲线。
ROC曲线与PR曲线
m0_73707081的博客
04-16 1629
PR曲线（Precision-Recall curve）是另一种评估分类模型性能的工具，通常用于处理不平衡数据集或关注于正类别（少数类别）的分类问题。在PR曲线中，横轴表示召回率（Recall），纵轴表示精确率（Precision）。召回率是指被模型正确识别为正类别的样本数占所有真实正类别样本数的比例，精确率是指被模型正确识别为正类别的样本数占所有模型判定为正类别的样本数的比例。
main_roc_python_AUC_PR曲线_ROC曲线_
09-29
在数据分析和机器学习领域，评估模型性能是至关重要的一步。标题"main_roc_python_AUC_PR曲线_ROC曲线_"和描述中的关键词涉及到的是使用Python语言进行模型评估时的两个关键指标：ROC曲线（Receiver Operating ...
python实现二分类和多分类的ROC曲线教程
12-17
在机器学习领域，二分类和多分类任务是常见的问题，其中评估模型性能的重要工具之一就是ROC曲线。ROC曲线全称为Receiver Operating Characteristic曲线，它主要用于评估一个二分类模型的性能，尤其是在类别不平衡的...
绘制yolov3 P-R曲线的脚本draw_pr_py3.py
12-04
能够进行绘制yolov3算法模型的P-R曲线的脚本draw_pr_py3.py，python3环境下运行。
用于yolo计算mAP和PR曲线使用
10-19
用于yolo计算mAP和PR曲线使用，里面有4个python文件，分为python2和python3版本
利用鸢尾花数据集画出P-R曲线 python
03-18
#演示目的：利用鸢尾花数据集画出P-R曲线 """ print(__doc__) import matplotlib.pyplot as plt import numpy as np from sklearn import svm, datasets from sklearn.metrics import precision_recall_...
机器学习-高质量精讲.rar
08-27
用户可以从中学习如何使用Python进行机器学习实践，理解ROC和PR曲线的含义，以及如何比较不同模型的性能。同时，它还提供了实际操作的经验，通过实验.xlsx数据进行模型训练，并使用.mian.py和数据读取测试.py来实现...
数据挖掘实验1_绘制ROC，PR曲线_MATLAB.zip
01-12
5. 绘制曲线：使用MATLAB的plot函数绘制ROC和PR曲线，可能需要调用`perfcurve`函数或自定义代码。 6. 分析结果：比较不同模型的曲线，评估模型性能，可能还需要计算AUC（Area Under the Curve）作为综合指标。 通过...
机器学习：绘制PR曲线
weixin_51998427的博客
11-03 2797
在了解两条曲线之前，先来看下如下的混淆矩阵在一个二分类问题中把正例正确判定为正例，表示为TP（true positive）把正例错误判定为负例，表示为FN（false negative）把负例正确判定为负例，表示为TN（true negative）把负例错误判定为正例，表示为FP（false positive）Precision=TP/(TP+FP)Recall=TP/(TP+FN)TPR=TP/(TP+FN)FPR=FP/
机器学习：PR曲线以及ROC曲线
Hapless1的博客
10-22 898
其中，真正例表示模型正确地将样本分类为正类，假正例表示模型错误地将样本分类为正类，真反例表示模型正确地将样本分类为负类，假反例表示模型错误地将样本分类为负类。PR 曲线（Precision-Recall curve）主要关注的是模型在正例预测方面的性能，它将模型的精度（Precision）和召回率（Recall）之间的关系展示出来。精度越高，模型预测的正类样本中真正例的比例就越大，当精度为1时，表示所有被预测为正类的样本都是真正例，即没有假正例存在。假阳性率（FPR）表示模型将负样本错误分类为正类的比例。
ROC曲线与PR曲线的理解与简单实现
m0_63567560的博客
10-23 62
混淆矩阵：表示模型将样本分类的结果的矩阵在Roc曲线和PR曲线中有四个重要的度量：精确率(查准率)，召回率(查全率)，真正例率，假正例率。
ROC曲线和PR曲线是什么
05-23
ROC 曲线和 PR 曲线都是用于评估二分类模型性能的指标，常用于机器学习领域。 ROC（Receiver Operating Characteristic）曲线是以真正率 (True Positive Rate, TPR) 为 y 轴，假正率 (False Positive Rate, FPR) 为 x 轴，绘制出的曲线。其中真正率指的是被正确预测为正类的样本数占所有实际正类样本的比例，假正率指的是被错误预测为正类的样本数占所有实际负类样本的比例。ROC 曲线的优劣通常通过曲线下面积 (Area Under Curve, AUC) 来评估，AUC 值越大，说明模型性能越好。 PR（Precision-Recall）曲线是以查准率 (Precision) 为 y 轴，召回率 (Recall) 为 x 轴，绘制出的曲线。其中查准率指的是被正确预测为正类的样本数占所有预测为正类的样本数的比例，召回率指的是被正确预测为正类的样本数占所有实际正类样本的比例。PR 曲线的优劣也通常通过曲线下面积 (Area Under Curve, AUC) 来评估，AUC 值越大，说明模型性能越好。 ROC 曲线适用于正负样本比例相对平衡的情况，而 PR 曲线更适用于正负样本比例不平衡的情况。在实际应用中，可以根据具体问题选择使用哪种曲线。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值