模型评估指标-2-ROC与PR曲线对比，TPR/FPR/Precision关系,3种特殊的评估指标

最新推荐文章于 2023-10-25 17:55:22 发布
最新推荐文章于 2023-10-25 17:55:22 发布
阅读量1.5k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jxlijunhao/article/details/114503035
版权

导语：在进阶篇里面，将会讨论ROC和PR曲线的联系，在不平衡数据中的偏差问题，同时利用公式来说明TPR/FPR/Precision三者之间的关系，在第三部分结合业务场景将介绍了几个特殊指标，但是没有说明如果根据指标去设计和优化模型，这个又要挖几个坑，等待后续来填了。

文章目录

ROC和PR曲线

直观感受：在正负样本极度不平衡时，关注PR曲线，ROC可能掩盖模型的差异

在基础篇中，抛出了一个结论在正负样本极不平衡的情况下(正样本是少数的那一类)，PR曲线比ROC曲线更能反映模型的性能,而这个结论来源于论文The Relationship Between Precision-Recall and ROC Curves,深入地学习一下这篇文章，对于深刻理解指标还是挺有意义的。
首先，论文先比较了两个模型分别利用ROC和PR曲线进行评估的结果，如下图所示：
在这里插入图片描述

从图中我们可以得出两个相反的结论：

  • 从ROC曲线上，两个模型表现都很不错，在FPR比较低的情况，TPR能够快速地靠近左上角区域，这样对应的AUC会较高；
  • 从PRC曲线上，就会觉得模型性能比较差，远离了右上角区域，这意味着在召回率高的情况下，精确率差的一塌糊涂

有了上述比较直观的比较之后，我们心里会倾向于认为这两个模型都有很大的提升空间，同时我们也想弄清楚造成这一现象的原因。根据知乎网友的描点，图a中TPR=0.8时，FPR约为0.1， 由于TPR=Recall, 因此可以大约认为图b中，Recall=0.8, Precision=0.05, 同时假定数据集中仅有100个正样本， 有了上述假设，我们就可以根据公式，推导出混淆矩阵上的各个指标了：

  1. T P R = T P 真 实 正 样 本 数 目 = T P 100 = 0.8 , ⇒ T P = 80 TPR=\frac{TP}{真实正样本数目}= \frac{TP}{100} = 0.8, \Rightarrow TP=80 TPR=真实正样本数目TP​=100TP​=0.8,⇒TP=80;
  2. P r e c i s i o n = T P T P + F P = 80 80 + F P = 0.05 , ⇒ F P = 1520 Precision = \frac{TP}{TP + FP} = \frac{80}{80 + FP} = 0.05, \Rightarrow FP=1520 Precision=TP+FPTP​=80+FP80​=0.05,⇒FP=1520;
  3. $FPR = \frac{FP}{真实负样本的个数} = 0.1, \Rightarrow 真实负样本的个数= 15200 $
  4. 正负样本比例可以得出：100/15200 = 0.00658

对于上述千6的正负样本比，还不是特别悬殊，我们可以再举另外一个例子（来源于Kaggle），假设真实样本中有100个正样本，(1000000-10)个负样本，设置不同的阈值，得到前100， 前2000个样本预测为正样本：
在这里插入图片描述

根据计算结果，我们可以发现：

  • 两个模型在TPR,FPR上相比差异不大，尤其是FPR上，由于负样本占主导地位，即使将预测正样本的个数从100调到2000，两者之间的差异也是很小的；
  • 而在Precision和Recall上， Precision显示出了明显的差异，0.9 VS 0.047;
  • 原因在于，Precision,Recall在计算时，是不会考虑真实负样本的个数的，而ROC曲线上，FPR在计算时考虑了真实负样本的, 当负样本占据主导时(FPR的分母很大), FPR上体现不出差异来；
  • 因此，在极度不平衡的情况下，优先要看PR曲线；

公式推导：TPR/FPR/Precision三者之间的关系

根据TPR(与Recall公式定义一致)和FPR的计算逻辑，可以很方便地从混淆矩阵中计算出各个值。假定模型为 f ( x ) f(x) f(x),样本真实标签记为 y y y,样本中的正样本占比为 η \eta η,可以从概率的角度将其描述出来：
T P R = R e c a l l = P ( f ( x ) = 1 ∣ y = 1 ) F P R = P ( f ( x ) = 1 ∣ y = 0 ) P r e c i s i o n = P ( y = 1 ∣ f ( x ) = 1 ) \begin{aligned} TPR&=Recall=P(f(x)=1| y=1) \\ FPR&=P(f(x)=1| y=0) \\ Precision &= P(y=1|f(x)=1) \end{aligned} TPRFPRPrecision​=Recall=P(f(x)=1∣y=1)=P(f(x)=1∣y=0)=P(y=1∣f(x)=1)​

利用贝叶斯公式，对 P r e c i s i o n = P ( y = 1 ∣ f ( x ) = 1 ) Precision = P(y=1|f(x)=1) Precision=P(y=1∣f(x)=1) 进行变换：
P r e c i s i o n = P ( y = 1 ∣ f ( x ) = 1 ) = P ( y = 1 , f ( x ) = 1 ) P ( f ( x ) = 1 ) ) = P ( f ( x ) = 1 ∣ y = 1 ) P ( y = 1 ) P ( f ( x ) = 1 , y = 1 ) + P ( f ( x ) = 1 , y = 0 ) = T P R ⋅ η T P R ⋅ η + F P R ⋅ ( 1 − η ) \begin{aligned} Precision &= P(y=1|f(x)=1) \\ &= \frac{P(y=1, f(x) = 1)}{P(f(x)=1))} \\ &= \frac{P(f(x)=1|y=1)P(y=1)}{P(f(x)=1,y=1) + P(f(x)=1,y=0) } \\ &= \frac{TPR \cdot \eta}{TPR \cdot \eta + FPR \cdot (1 -\eta) } \end{aligned} Precision​=P(y=1∣f(x)=1)=P(f(x)=1))P(y=1,f(x)=1)​=P(f(x)=1,y=1)+P(f(x)=1,y=0)P(f(x)=1∣y=1)P(y=1)​=TPR⋅η+FPR⋅(1−η)TPR⋅η​​
结合上述4个公式，可以发现：

  1. TPR和FPR跟样本比例无关，因为计算公式中不涉及$\eta $，这一点与直接使用混淆矩阵计算过程结论是一致的;
  2. Precision与正负样本比例有关，在固定了FPR/TPR之后，与 η \eta η呈现正比例关系

根据混淆矩阵 P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP + FP} Precision=TP+FPTP​,结合上述Precision的计算公式，隐含的条件是:
P ( y = 1 ) = η = 评 估 数 据 中 正 样 本 的 比 例 = T P + F N 评 估 数 据 中 样 本 总 数 \begin{aligned} P(y=1) &= \eta \\ &= 评估数据中正样本的比例 \\ &= \frac{TP+FN}{评估数据中样本总数} \end{aligned} P(y=1)​=η=评估数据中正样本的比例=评估数据中样本总数TP+FN​​
根据大数定理,只有当评估的数据集样本足够多时，上述关系成立。

模型评估要同时结合应用场景和模型指标

不管是在基础篇还是上述ROC和PR曲线的对比，我们仅仅关心了模型指标，但是我们时刻要记住的一点，模型服务于业务，全局最优的模型，在实际使用时可能毫无价值而言，因为各种限制，模型影响的人群可能是小部分人群。

Precision>=0.97的Recall中，选取max(Recall)

如在客户流失预测场景中，提前挽回一个客户的成本要远低于去营销一个新用户，因此需要发现更多潜在的流失用户，对应在模型指标上，召回率Recall相比于准确率Precision更重要，我们可以通过几种做法来理解一下：

  • case1: 不使用模型，极端的情况下，我们可以不计时间和人工成本的情况下，直接对所有的存量客户预测为1，那么Recall=1，但Precision会低的离谱，因此不满足业务需求;
  • case2: 开始训练模型，得到一个AUC还不错的模型，但是受制于营销成本，仅能对部分用户进行促活，AUC太抽象，不能指导如何进行促活策略，但是我们知道需要在限定资源的情况下(仅可对部分用户进行挽回，设置的阈值不能太低)，尽可能多的找到更多，因此可以设置在Precision>=0.97的Recall中，选取max(Recall)作为评估指标，这个指标在携程的一个比赛中使用，计算过程如下图所示：在这里插入图片描述

分段覆盖率：0.4 * TPR1 + 0.3 * TPR2 + 0.3 * TPR3

在交易风控，打击黑产相关的模型中，经常使用的一种指标，表示在仅尽可能少的打扰下(误杀，误伤)尽可能地识别准确，计算逻辑为：
{ T P R 1 , FPR=0.001 T P R 2 , FPR=0.005 T P R 3 , FPR=0.01 \begin{cases} TPR1, & \text{FPR=0.001} \\ TPR2, & \text{FPR=0.005} \\ TPR3, & \text{FPR=0.01} \\ \end{cases} ⎩⎪⎨⎪⎧​TPR1,TPR2,TPR3,​FPR=0.001FPR=0.005FPR=0.01​
根据上述分段的TPR，在风控等领域，又可以叫做覆盖率，而FPR又叫做打扰率，这个很好理解，本来是一次正常的交易，却被识别为有风险，让用户交易中止，或者做二次验证，这样就打扰了用户，因此上述指标是在一定的打扰率的情况下，尽可能得到更高的覆盖率。

根据ROC曲线，这样的模型关注的是一小段曲线，而不是整体的AUC，因此可能存在一个AUC高的模型，上述分段覆盖率指标却不是最优的。
这个指标在蚂蚁支付风险识别比赛上出现：蚂蚁金服风险大脑：支付风险识别(https://dc.cloud.alipay.com/index#/topic/intro?id=12)

def tpr_weight_funtion(y_true,y_predict):
　　"""
　　y_true:真实的类别
　　y_predict:预测的类别
　　"""
    d = pd.DataFrame()
    d['prob'] = list(y_predict)
    d['y'] = list(y_true)
    d = d.sort_values(['prob'], ascending=[0])
    y = d.y
    PosAll = pd.Series(y).value_counts()[1]
    NegAll = pd.Series(y).value_counts()[0]
    pCumsum = d['y'].cumsum()
    nCumsum = np.arange(len(y)) - pCumsum + 1
    pCumsumPer = pCumsum / PosAll
    nCumsumPer = nCumsum / NegAll
    TR1 = pCumsumPer[abs(nCumsumPer-0.001).idxmin()]
    TR2 = pCumsumPer[abs(nCumsumPer-0.005).idxmin()]
    TR3 = pCumsumPer[abs(nCumsumPer-0.01).idxmin()]
    return 0.4 * TR1 + 0.3 * TR2 + 0.3 * TR3

检测比率与拦截比率

与上述分段覆盖率类似，这里检测比例理解为TPR(Recall), 拦截比例为预测为正样本的数量/所有样本量，这两个指标同时关注模型的性能和模型对于流量的影响，示意图如下图所示，在不同的阈值下，可以计算得到不同的检测比例和拦截比例，图中M1~M5表示5个不同的模型的比较：在这里插入图片描述

总结

  • 本文首先对比了ROC和PR曲线在样本不平衡的数据集中可能带来错误结论结论，用于说明在不平衡的情形下，要去关注PR曲线；
  • 在公式推导部分，利用贝叶斯公式得到了TPR/FPR/Precision之间的关系，用于说明FPR，TPR跟正负样本比例无关的特性，而在给定了FPR和TPR下，Precision跟正样本的占比成正比例关系；
  • 在第三部分，介绍了几种特殊的模型评估指标，用于说明模型评估需要和具体的业务场景结合，而不单纯的看AUC等这样的抽象指标

在这里插入图片描述
在这里插入图片描述

知乎：一直学习一直爽
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
19. PR曲线是什么？如何计算？
weixin_44808274的博客
09-19 918
PR（Precision-Recall）曲线是一种用于评估二分类模型性能的工具，重点关注的是正例的精确性（Precision）和召回率（Recall）之间的权衡关系。与ROC曲线不同，PR曲线将真正例率（TPR）和假正例率（FPR）替换为精确性和召回率，因此更适合于不平衡类别分布的情况，其中正例的数量较少。
多分类TPR, FPR, ROC计算与画图
ODIMAYA的博客
11-19 1万+
sklearn.metrics.roc_curve（） 首先，需要使用sklearn.metrics.roc_curve()函数 sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True) 参数： y_true : 数组，shape = [样本数] 在范...
TPR,FPR,P,R
weixin_44845357的博客
04-28 1051
精确度( precision )：TP / ( TP+FP ) = TP / P 召回率（recall）：TP / (TP + FN ) = TP / T 真阳性率（True positive rate）：TPR = TP / ( TP+FN ) = TP / T （敏感性 sensitivity） 假阳性率（False positive rate）：FPR = FP / ( FP + TN ) = FP / F （特异性：specificity） 准确率（Accuracy）：Acc = ( TP +
模型评估指标
weixin_43457608的博客
10-25 136
在业务上，FPR可以用来评估模型的误报率，即模型将负例错误预测为正例的情况。在一些应用场景中，如风险预警、欺诈检测等，假阴性（FN）的代价较高，我们希望尽量减少未能正确预测为正例的情况。在一些应用场景中，如量化交易预测任务，假正例（FP）的代价较高，我们希望最大限度地减少错误预测为正例的情况。因此，根据具体业务需求，需要权衡和平衡TPR和FPR，选择适合的分类模型和阈值设置，以达到业务上的最优性能。当我们关注的是模型预测为正例的样本中有多少是真正的正例时，即关注模型的预测准确性。
机器学习——pr曲线、roc曲线
achuai0917的博客
10-23 3363
AUC值（ROC曲线下的面积）可以用来衡量分类器的性能，一般情况下，AUC值越大，分类器的性能越好。计算公式为TP/(TP+FN)，其中TP是真正例的数量（即正确预测为正的正例样本数量），FN是假负例的数量（即错误预测为负的正例样本数量）。计算公式为FP/(FP+TN)，其中FP是假正例的数量（即错误预测为正的负例样本数量），TN是真负例的数量（即正确预测为负的负例样本数量）。：精确率被定义为“正例预测正确的概率”，即预测为正例并且实际也为正例的样本数除以所有被预测为正例的样本数。
Python机器学习：评价分类结果007TPR和FPR之间的关系
持之以恒
12-20 1305
TPR和FPR之间的关系
Roc-curve.zip_Recall_precision_precision recall_roc_roc curve ja
09-14
ROC曲线与精确度-召回率曲线是评估分类模型性能的重要工具，尤其在处理不平衡数据集时更为关键。本文将深入探讨这两个概念以及如何在Java环境中实现它们。 首先，让我们了解什么是ROC曲线。ROC，全称为Receiver ...
main_roc_python_AUC_PR曲线_ROC曲线_
09-29
标题"main_roc_python_AUC_PR曲线_ROC曲线_"和描述中的关键词涉及到的是使用Python语言进行模型评估时的两个关键指标：ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve），...
机器学习模型评估-sklearn中的评估函数
12-23
ROC曲线）**：ROC曲线描述了真阳性率（TPR）与假阳性率（FPR）之间的关系，广泛用于评估二分类问题，AUC（Area Under the Curve）是ROC曲线下的面积，也是衡量模型性能的一个重要指标。 4. **自定义scoring对象** ...
数据挖掘实验1_绘制ROC，PR曲线_MATLAB.zip
最新发布
01-12
在数据分析中，评估分类模型的性能是至关重要的，而ROC（Receiver Operating Characteristic）曲线和PR（Precision-Recall）曲线是两种常用的评估工具。这个实验1，"绘制ROC，PR曲线_MATLAB.zip"，显然是一个使用...
PG_ROC_PR_R:使用 R 的 ROC 和 PR 曲线
06-12
ROC（受试者工作特征曲线）和PR（Precision-Recall曲线）是评估分类模型性能的重要工具，尤其在处理不平衡数据集时。本教程将深入探讨如何在R语言环境中利用这些曲线来分析和可视化模型的表现。 ROC曲线展示了真...
深度探讨机器学习中的ROC和PR曲线
yqtao的博客
01-13 4万+
引言\quad 在 21 Must-Know Data Science Interview Questions and Answers 的文章中，有这类似这样的问题，它问的是Explain what precision and recall are. How do they relate to the ROC curve?关于这个问题其实有许多需要回答的，不仅仅是他们的表现形式不同，同时它涉及到下机
减少对别人的打扰，提高别人的工作效率
走在奋斗的路上
06-06 1287
我要检讨，今天我做错了一件大事。     事情，挺简单的。就是要检查今目标，我用飞信将检查今目标的要求截图发给了要被检查的人。在发之前，稍微考虑了一下，是不是会影响到别人，但是这个念头只是一闪而过，没有过多停留。于是我就把要求，发给了要抽查的四个人。     发给第一个人的时候，第一个人很快的做了回应，但是他说7:30在发给我行吗？我想没有关系啊，可以啊。于是就没有说什
机器学习中精确率（precision）、召回率（recall）和准确率（accuracy）的理解
Bruce_0712的博客
06-10 1万+
注：网上很多讲解都瞎讲，把precision和accuracy概念混淆，误人子弟。 1.精确率（precision） 就precision而言有很多版本，各种说法不一，有精确率也有正确率更有甚者把准确率也搞出来了实在受不了，反正咱们看英文precision。 precision是表示预测为正样本中，被实际为正样本的比例。可以看出precision是考虑的正样本被预测正确的比例．根据图1-1可得其计算公式为：P = TP / (TP + FP) 2.召回率（recall） ...
PR曲线 可算是明白了 precision recall曲线
乱七八糟的笔记
07-16 4万+
Inst#是样本序号，图中有20个样本。Class是ground truth 标签，p是positive样本（正例）,n当然就是negative（负例） score是我的分类器对于该样本属于正例的可能性的打分。因为一般模型输出的不是0,1的标注，而是小数，相当于置信度。 然后设置一个从高到低的阈值y，大于等于阈值y的被我正式标注为正例，小于阈值y的被我正式标注为负例。 显然，我设置n个阈值...
PR曲线以及ROC曲线的绘制
weixin_51961968的博客
10-16 2170
PR曲线、ROC曲线以及一些基本参数的介绍
ROC曲线和PR(Precision-Recall)曲线的联系
CNV_2305
02-22 4269
http://www.chmod764sean.com/computer-tec/data-mining-machine-learning/501.html 在机器学习中，ROC（Receiver Operator Characteristic）曲线被广泛应用于二分类问题中来评估分类器的可信度，但是当处理一些高度不均衡的数据集时，PR曲线能表现出更多的信息，发现更多的问题。 1.R
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 9万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
显著性目标检测模型评价指标（二）——PR曲线
乐乐lelele的博客
03-19 1万+
显著性目标检测模型评价指标 之 PR曲线原理与实现代码 目录 显著性目标检测模型评价指标 之 PR曲线原理与实现代码 目录 一、PR曲线原理 计算方法 阈值选取 二、Matlab代码 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 参考文献 一、PR曲线原理 在显著目标提取中（关于视觉显著性的简要介绍点此处链接），PR曲线是用来评...
手动计算并绘制PR曲线与ROC曲线
06-01
好的，我可以帮你解答这个问题。 PR曲线和ROC曲线都是用于评估分类模型性能的常用指标。下面我将分别介绍PR曲线和ROC曲线的计算方法，并给出手动绘制的步骤。 PR曲线 PR曲线表示的是Precision-Recall曲线，其中Precision表示精度，Recall表示召回率。Precision和Recall的计算公式如下： $Precision = \frac{TP}{TP+FP}$ $Recall = \frac{TP}{TP+FN}$ 其中，TP表示真正例（True Positive），即模型预测为正例且实际为正例的样本数；FP表示假正例（False Positive），即模型预测为正例但实际为负例的样本数；FN表示假负例（False Negative），即模型预测为负例但实际为正例的样本数。 计算PR曲线的步骤如下： 1. 对所有样本按照模型输出的概率值进行排序。 2. 设定一个阈值，将模型输出概率值大于等于该阈值的样本预测为正例，小于该阈值的样本预测为负例。 3. 根据上述公式计算Precision和Recall。 4. 逐步降低阈值，重复步骤2-3，直到所有样本均被预测为正例。 5. 将所有计算得到的Precision和Recall值绘制成PR曲线。 ROC曲线 ROC曲线表示的是Receiver Operating Characteristic曲线，其中横轴为1-Specificity，纵轴为Sensitivity。Sensitivity表示的是模型对正例的识别能力，即真正例率（True Positive Rate，TPR）；Specificity表示的是模型对负例的识别能力，即真负例率（True Negative Rate，TNR），1-Specificity即为假正例率（False Positive Rate，FPR）。TPR和FPR的计算公式如下： $TPR = \frac{TP}{TP+FN}$ $FPR = \frac{FP}{FP+TN}$ 其中，TN表示真负例（True Negative），即模型预测为负例且实际为负例的样本数。 计算ROC曲线的步骤如下： 1. 对所有样本按照模型输出的概率值进行排序。 2. 设定一个阈值，将模型输出概率值大于等于该阈值的样本预测为正例，小于该阈值的样本预测为负例。 3. 根据上述公式计算TPR和FPR。 4. 逐步降低阈值，重复步骤2-3，直到所有样本均被预测为负例。 5. 将所有计算得到的TPR和FPR值绘制成ROC曲线。 手动绘制步骤： 1. 准备数据，即计算出一系列不同阈值下的Precision、Recall、TPR和FPR值。 2. 在坐标系中画出x轴和y轴，并标上对应的刻度。 3. 根据计算得到的数据点，绘制PR曲线或ROC曲线。 4. 根据需要，可以在曲线上标出一些关键点，如Precision=Recall时的点、TPR=FPR时的点等。 希望这个回答能够帮到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值