机器学习（）PR曲线绘制

最新推荐文章于 2024-05-01 16:51:33 发布
最新推荐文章于 2024-05-01 16:51:33 发布
阅读量1.9w 收藏 60
点赞数 24
分类专栏： # 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunshine04/article/details/103746962
版权

目录

P-R 曲线绘制

Ground Truth

P-R 曲线绘制

Precision-查准率-预测出来的正例中正确的比例---找得对-（查准率高-宁缺毋滥

Recall-查全率-衡量正例被预测出来的比例---找得全-（查全率高-宁可错杀一百不能放过一个


    在机器学习中分类器往往输出的不是类别标号，而是属于某个类别的概率值，根据分类器的预测结果从大到小对样例进行排序，逐个把样例加入正例进行预测，算出此时的P、R值。

 

如下图： 

Inst#是样本序号，图中有20个样本，真实情况正例反例各有10个。

Class是ground truth（ground truth是什么？见文末！） 标签，p是positive样本（正例）,n当然就是negative（负例）

score是我的分类器对于该样本属于正例的可能性的打分。因为一般模型输出的不是0,1的标注，而是小数，相当于置信度。

 

然后设置一个从高到低的阈值y，大于等于阈值y的被我正式标注为正例，小于阈值y的被我正式标注为负例。

显然，我设置n个阈值，我就能得到n种标注结果，评判我的模型好不好使，也就可能得到n个PR值对用来画PR曲线。
 



 

先用分数（score）：0.9作为阈值（大于等于1为正例，小于1为反例），此时TP=1，FP=0，FN=9，故P=1，R=0.1。 
用0.8作为阈值，P=1，R=0.2。 
用0.7作为阈值，P=0.67，R=0.2。 
用0.6作为阈值，P=0.75，R=0.3。 
以此类推。。。 
最后得到一系列P、R值序列，就画出P-R曲线（示意图，不对应上面数据）： 

 

Ground Truth

在看英文文献的时候，经常会看到Ground Truth这个词汇，翻译的意思是地面实况，放到机器学习里面，再抽象点可以把它理解为真值、真实的有效值或者是标准的答案。

维基百科对Ground Truth在机器学习领域的解释是：

在机器学习中，“ground truth”一词指的是训练集对监督学习技术的分类的准确性。这在统计模型中被用来证明或否定研究假设。“ground truth”这个术语指的是为这个测试收集适当的目标（可证明的）数据的过程。

 

今天在看《Outlier Analysis》时，有句话: However, it is generally much harder to reduce bias in outlier ensembles because of the absence of ground truth.

放到对异常点的检测方面来理解这个ground truth就好理解了。在对异常点进行检测的时候，通过一些ensemble methods可以在一定程度上提高准确性，从而减少bias，但是由于对于异常点的定义本身就是一个问题，所以在对这些数据进行label的过程中，保证labeled data是正确的异常点也是个问题。

再举个例子，在图像识别中，一张图片是猫还是狗这个没有什么争议性，但是如果在时间序列中让你指出什么样的数据是 normal，什么样的数据是 abnormal，100个人可能会有100种回答，因为 normal 和 abnormal 之间没有什么明确的界限，所以在研究时间序列中的 outlier analysis 时，Ground Truth 也是一个不可避免的问题。
————————————————
版权声明：本文为CSDN博主「敲代码的quant」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/FrankieHello/article/details/80486167

 

P-R曲线

原文链接：https://blog.csdn.net/teminusign/article/details/51982877

原文链接：https://blog.csdn.net/u013249853/article/details/96132766

搬砖兔仔汁
关注
  • 24
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
PR曲线详解
gz7seven
08-13 6万+
目录PR曲线概念precision（精准率）和recall（召回率）PR曲线功能说明 PR曲线概念 PR曲线中的P代表的是precision（精准率），R代表的是recall（召回率），其代表的是精准率与召回率的关系，一般情况下，将recall设置为横坐标，precision设置为纵坐标。 precision（精准率）和recall（召回率） 上述中介少了PR曲线的实质代表为precision（精准率）和recall（召回率），但是这二者是什么呢？下面咱们进行相关的讲述。 首先，我们了解一下混淆矩阵，如下表
机器学习实验三之——ROC与PR曲线
m0_63916929的博客
10-23 4789
ROC曲线（Receiver Operating Characteristic Curve）是用来评估二分类模型性能的一种常见方法。它是基于分类模型对不同阈值下的预测结果进行排序，并计算真正率（True Positive Rate，即召回率）和假正率（False Positive Rate）之间的关系而得到的曲线。真正率指分类器在所有实际为正例中正确预测为正例的比例，可以通过以下公式计算： 真正率 = TP / (TP + FN)
实现P-R曲线与ROC曲线的绘制
wodertianna的博客
05-01 518
P-R曲线与ROC曲线的基本计算方法和绘制过程，虽然在Python中有能够直接引用的包，但为了加强理解，本文自己从头实现了这两种曲线的绘制。
机器学习——pr曲线、roc曲线
achuai0917的博客
10-23 3353
AUC值（ROC曲线下的面积）可以用来衡量分类器的性能，一般情况下，AUC值越大，分类器的性能越好。计算公式为TP/(TP+FN)，其中TP是真正例的数量（即正确预测为正的正例样本数量），FN是假负例的数量（即错误预测为负的正例样本数量）。计算公式为FP/(FP+TN)，其中FP是假正例的数量（即错误预测为正的负例样本数量），TN是真负例的数量（即正确预测为负的负例样本数量）。：精确率被定义为“正例预测正确的概率”，即预测为正例并且实际也为正例的样本数除以所有被预测为正例的样本数。
机器学习：PR曲线和ROC曲线
zs_id的博客
10-23 305
在机器学习中，我们经常使用PR曲线（Precision-Recall Curve）和ROC曲线（Receiver Operating Characteristic Curve）来评估模型的性能。这两种曲线都可以提供有关分类器性能的重要信息。其实PR曲线和ROC曲线的选择还是要根据实际情况做出选择，当正负样本比例相近时，ROC曲线通常能够给出稳健的性能评估，。当正负样本比例严重不平衡时，PR曲线通常更为实用。
机器学习基于Python实现PR曲线和ROC曲线
m0_62682527的博客
10-21 2352
PR曲线和ROC曲线是评估分类模型性能的重要工具。它们可以帮助我们在不同阈值下比较模型的性能，并选择最佳的阈值进行预测。这篇博客将介绍如何使用Python实现PR曲线和ROC曲线，并提供相应的示例代码。在介绍PR曲线之前，我们需要先了解几个概念。这里为了更加形象深刻地理解我们采用识别汉堡🍔的样例。为了判断一张图片是不是汉堡我们可以把照片扔进去一个分类器进行识别如下：其中根据上面数据得到的预测和实际结果的对比我们做出了以下表格：上面表格中的四个数组成的矩阵也就是我们需要理解的的混淆矩阵。
绘制ROC曲线和PR曲线
qq_64051333的博客
10-23 419
如何绘制ROC曲线和PR曲线
matlab绘制pr曲线图
最新发布
05-16
在机器学习和计算机视觉领域，PR（Precision-Recall）曲线是一种评估模型性能的重要工具，尤其是在类别不平衡的情况下。本篇文章将详细介绍如何使用MATLAB来绘制PR曲线，以及如何结合YOLOv8的预测结果进行这一过程。...
利用鸢尾花数据集画出P-R曲线 python
03-18
#演示目的：利用鸢尾花数据集画出P-R曲线 """ print(__doc__) import matplotlib.pyplot as plt import numpy as np from sklearn import svm, datasets from sklearn.metrics import precision_recall_...
基于机器学习预测实战 基于机器学习预测实战
07-01
"pr曲线.png"则是Precision-Recall曲线，特别是在处理类别不平衡问题时非常有用。Precision（精确率）是指预测为正类中实际为正的比例，Recall（召回率）是实际正类被正确预测的比例。这条曲线展示了不同召回率下...
main_roc_python_AUC_PR曲线_ROC曲线_
09-29
在数据分析和机器学习领域，评估模型性能是至关重要的一步。标题"main_roc_python_AUC_PR曲线_ROC曲线_"和描述中的关键词涉及到的是使用Python语言进行模型评估时的两个关键指标：ROC曲线（Receiver Operating ...
显著性检测PR曲线
06-08
显著性检测中画PR曲线的代码，需要自己生成的显著图和Ground Truth。
数据挖掘实验1_绘制ROC，PR曲线_MATLAB.zip
01-12
这个实验1，"绘制ROC，PR曲线_MATLAB.zip"，显然是一个使用MATLAB编程环境进行的实践项目，旨在教授如何通过这两种曲线来评估二分类模型的性能。 MATLAB是一款强大的数值计算和图形可视化软件，常用于科学计算和...
matlab计算prc曲线auc面积,ROC曲线及其matlab实现ROC曲线的绘画
weixin_30750685的博客
03-16 817
ROC曲线(Receiver Operating Characteristic Curve)是利用Classification模型真正率(True Positive Rate)和假正率(False Positive Rate)作为坐标轴，图形化表示分类方法的准确率的高低。ROC图的一些概念定义:：真正(True Positive , TP)被模型预测为正的正样本假负(False Negative ...
PR曲线
qq_39114535的博客
03-19 3263
指标 Precision查准率。 Recall查全率。​​​ mAP和IOU以及置信度阈值关系 TP: IoU>0.5的检测框数量（同一Ground Truth只计算一次） FP: IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量 增加置信度阈值，我们会对预测值更有信心，即增加了查准率。但这样会降低查全率。（High Precision, Low Recall） 减小置信度阈值，则模型放过的真例就变少，查全率就增加。（Low Precision, High Recall） 进而
PR曲线原理及通过曲线判断分类器优劣
热门推荐
Ema1997的博客
06-29 1万+
一、原理讲解 P-R曲线就是精确率precision vs 召回率recall 曲线，以recall作为横坐标轴，precision作为纵坐标轴。首先解释一下精确率和召回率。 解释精确率和召回率之前，先来看下混淆矩阵， 负 正 负 TN FP 正 FN TP 把正例正确分类为正例，表示为TP（true positive），把正例错误分类为负例，表示为FN（false negative）， 把负例正确分类为负例，表示为TN（true negative）， 把负例错误分类为正例，表示为
precision recall曲线Matlab实现
IT小白菜
06-23 9483
在用哈希进行检索时，常会用到precision recall曲线对其性能进行定量评价。precision recall的定义在信息检索评价指标中已做了详细说明，这里再记录一下precision recall的具体实现。 precision recall曲线matlab一般使用的都是下面的版本： function [recall, precision, rate] = recall_
如何绘制caffe网络训练曲线
weixin_33906657的博客
06-28 535
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.csdn.net/yhl_leo/article/details/51774966 当我们设计好网络结构后，在神经网络训练的过程中，迭代输出的log信息中，一般包括，迭代次数，训练损失代价，测试损失代价，测试精度等。本文提供一段示例，简单讲述如何绘制训练曲线（trai...
机器学习：关于P-R曲线和Roc曲线
qq_53866837的博客
11-05 5474
浅聊P-R曲线和Roc曲线
机器学习 python绘制pr曲线 代码
06-28
### 回答1： 以下是机器学习Python绘制PR曲线的示例代码： ```python from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt import numpy as np y_true = np.array([0, 0, 1, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8, 0.9]) precision, recall, thresholds = precision_recall_curve(y_true, y_scores) plt.plot(recall, precision, linestyle='--', label='PR curve') plt.xlabel('Recall') plt.ylabel('Precision') plt.legend() plt.show() ``` 其中，y_true表示真实标签，y_scores表示模型输出的预测概率。precision_recall_curve函数会返回一组精确率、召回率和阈值，我们将这些数据绘制成PR曲线即可。 ### 回答2： PR曲线是二元分类模型性能评估的重要指标之一，它可以衡量出在"有多少真实的数据预测成正样本的同时预测对了多少个真实的正样本"的性能，适用于不平衡数据集的情况。 在Python中，我们可以利用sklearn库，调用precision_recall_curve()函数绘制PR曲线。具体步骤如下： 1. 导入必要的库 ``` import matplotlib.pyplot as plt from sklearn.metrics import precision_recall_curve from sklearn.metrics import plot_precision_recall_curve ``` 2. 准备数据集 假设我们有一个二分类数据集，标签为1表示正样本，标签为0表示负样本。我们可以从csv文件中读取数据，或者利用一些数据生成的方法。 ``` X, y = make_classification(n_samples=10000, n_classes=2, weights=[0.95,0.05], random_state=42) ``` 3. 拆分数据集 由于绘制PR曲线需要使用测试集，所以我们需要把数据集拆分成训练集和测试集。 ``` from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` 4. 训练模型 利用我们选择的二分类模型，例如Logistic回归或者随机森林模型等，从训练数据集中训练一个模型。 ``` from sklearn.ensemble import RandomForestClassifier clf = RandomForestClassifier(n_estimators=100, random_state=42) clf.fit(X_train, y_train) ``` 5. 绘制PR曲线 利用precision_recall_curve()函数计算每个阈值下的准确率和召回率，然后绘制出PR曲线。 ``` disp = plot_precision_recall_curve(clf, X_test, y_test) plt.show() ``` 以上是用Python绘制PR曲线的基本步骤，你可以根据实际需要进行微调和优化。 ### 回答3： PR曲线是机器学习中用于评估二分类模型性能的重要指标之一。它是Precision与Recall的关系曲线，通过绘制Precision与Recall的关系曲线可以更直观、准确地评估模型性能。在Python中，我们可以使用Scikit-Learn库的以下函数来绘制PR曲线： from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt # 假设y_true为真实标签，y_scores为分类模型输出的概率值 precision, recall, thresholds = precision_recall_curve(y_true, y_scores) # 绘制PR曲线图 plt.plot(recall, precision, label='PR curve') plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-Recall Curve') plt.legend(loc='best') plt.show() 其中，y_true为真实标签，y_scores为分类模型输出的概率值。函数precision_recall_curve可以返回precision、recall以及每个阈值的数值，即thresholds，这些数值可以用于后续的计算或可视化操作。绘制PR曲线使用Matplotlib库的plot函数，将recall作为横坐标、precision作为纵坐标，即可得到PR曲线。对于PR曲线的图像优化可以用title函数来添加标题，用xlabel和ylabel函数进行轴标签的添加以及legend函数添加图例。最后将PR曲线图用show函数显示。 绘制PR曲线，是对模型在正例（positive）和负例（negative）两个方面的表现都进行评估的一种方法，可以帮助用户更准确地判断模型的性能，具有重要的应用价值和研究意义。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值