Datawhale《深度学习-NLP》Task1- 召回率、准确率、ROC曲线、AUC、PR曲线学习理解

最新推荐文章于 2024-05-04 20:04:48 发布
最新推荐文章于 2024-05-04 20:04:48 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mxs1123/article/details/88090715
版权

Task1 数据集探索

1. 数据集

数据集：中、英文数据集各一份 中文数据集：THUCNews THUCNews数据子集：https://pan.baidu.com/s/1hugrfRu 密码：qfud

英文数据集：IMDB数据集 Sentiment Analysis

2. IMDB数据集下载和探索

参考TensorFlow官方教程：影评文本分类  |  TensorFlow

科赛 - Kesci.com

 

3. THUCNews数据集下载和探索 参考博客中的数据集部分和预处理部分：CNN字符级中文文本分类-基于TensorFlow实现 - 一蓑烟雨 - CSDN博客

参考代码：text-classification-cnn-rnn/cnews_loader.py at mas...

4. 学习召回率、准确率、ROC曲线、AUC、PR曲线这些基本概念

参考1：机器学习之类别不平衡问题 (2) —— ROC和PR曲线_慕课手记

 

1. 召回率，准确率，精确率：

准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%，大白话：“你的预测有多少是对的”
精确率(precision) = TP/(TP+FP) = 80%  “在你认为正例里面，有多少是真的正例？” 或者 “在你认为有故障的里面，有多少是真有故障的” （针对你认为认为正例的）
召回率(recall) = TP/(TP+FN) = 2/3，大白话：“正例里你的预测覆盖了多少” 或者“在真故障中，你预测对并召回了多少？” （针对真故障的）

召回率：

召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。
R = \frac{TP}{TP+FN}

在 "真故障" 车中有多少 "我觉得有故障".

但是这和 recall, 召回有半毛钱关系? 后来我想了想, 还是有点关系的. 生产完成后,有些没检测出来的问题车(False Negative)也卖给客人了. 有一天发现问题要召回FN的车. 怎么看这个比例呢?

按"召回"的字面意思可以是:

  • 召回率 = 召回 / 真故障 = FN / (TP+FN)

但是实际却是:

  • 召回率 = 1 - (召回/真故障) = 1 - FN / (TP+FN) = TP/(TP+FN)

也就是:

  • 召回率 = (我觉得故障 中的 真故障) / 真故障 = TP/(TP+FN)

准确率

更准确应该称为"正确率"或"精准率" (Precision)

在 "我觉得故障" 的车中有多少 "真故障". (So far so good)

  • 准确率 = (我觉得故障 中的 真故障) / 我觉得故障 = TP/(TP+FP).
  •  

精确率

精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是
P = \frac{TP}{TP+FP}

 

P和N是什么含义：

我开了条汽车生产线. "有故障"比较少, 所以是 Positive (真有故障). 正常是 Negative (没故障).

T: True, F: False, P: Positive, N: Negative

TP: 预测为正，实际为正

FP: 预测为正，实际为负

TN:预测为负，实际为负

FN: 预测为负，实际为正

参考：

针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.

(1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP)

(2)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN)

(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)

(4)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)

TP:正确的肯定数目

FN:漏报，没有找到正确匹配的数目

FP:误报，没有的匹配不正确

TN:正确拒绝的非匹配数目

列联表如下，1代表正类，0代表负类：

由上表可得出横，纵轴的计算公式：

(1)真正类率(True Postive Rate)TPR: TP/(TP+FN),代表分类器预测的正类中实际正实例占所有正实例的比例。Sensitivity

(2)负正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器预测的正类中实际负实例占所有负实例的比例。1-Specificity

(3)真负类率(True Negative Rate)TNR: TN/(FP+TN),代表分类器预测的负类中实际负实例占所有负实例的比例，TNR=1-FPR。Specificity


2. ROC曲线

历史：ROC曲线首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。数十年来，ROC分析被用于医学、无线电、生物学、犯罪心理学领域中，而且最近在机器学习（machine learning）和数据挖掘（data mining）领域也得到了很好的发展。

在做决策时，ROC分析能不受成本／效益的影响，给出客观中立的建议。

roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

 

(1)真正类率（或称召回率）(True Postive Rate)TPR: TP/(TP+FN),代表分类器预测的正类中实际正实例占所有正实例的比例。Sensitivity

(2)负正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器预测的正类中实际负实例占所有负实例的比例。1-Specificity

(3)真负类率(True Negative Rate)TNR: TN/(FP+TN),代表分类器预测的负类中实际负实例占所有负实例的比例，TNR=1-FPR。Specificity

 

横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)

纵轴：真正类率(true postive rate TPR)灵敏度，Sensitivity(正类覆盖率)

 

假设采用逻辑回归分类器，其给出针对每个实例为正类的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正类，小于0.6的为负类。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。阈值最大时，对应坐标点为(0,0),阈值最小时，对应坐标点(1,1)。

如下面这幅图，(a)图中实线为ROC曲线，线上每个点对应一个阈值。

 

横轴FPR:1-TNR,1-Specificity，FPR越大，预测正类中实际负类越多。

纵轴TPR：Sensitivity(正类覆盖率),TPR越大，预测正类中实际正类越多。

理想目标：TPR=1，FPR=0,即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好，Sensitivity、Specificity越大效果越好。

 如何画roc曲线

假设已经得出一系列样本被划分为正类的概率，然后按照大小排序，下图是一个示例，图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“Score”表示每个测试样本属于正样本的概率。

接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“Score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。这样一来，我们一共得到了20组FPR和TPR的值，将它们画在ROC曲线的结果如下图：

  

AUC(Area under Curve)：Roc曲线下的面积，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。

首先AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。

 

为什么使用Roc和Auc评价分类器

既然已经这么多标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距较大，而且测试数据中的正负样本也可能随着时间变化。下图是ROC曲线和Presision-Recall曲线的对比：

在上图中，(a)和(c)为Roc曲线，(b)和(d)为Precision-Recall曲线。

(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，ROC曲线基本保持原貌，而Precision-Recall曲线变化较大。

ROC曲线评价统计量计算。ROC曲线下的面积值在1.0和0.5之间。在AUC>0.5的情况下，AUC越接近于1，说明诊断效果越好。AUC在 0.5～0.7时有较低准确性，AUC在0.7～0.9时有一定准确性，AUC在0.9以上时有较高准确性。AUC=0.5时，说明诊断方法完全不起作用，无诊断价值。AUC<0.5不符合真实情况，在实际中极少出现。

PR曲线

P、R


P（查准率）：P=TPTP+FPP=TPTP+FP   即预测结果中真正的正例的比例。 
R（查全率）：R=TPTP+FNR=TPTP+FN    即所有正例中被正确预测出来的比例。 

P-R 曲线： 
在机器学习中分类器往往输出的不是类别标号，而是属于某个类别的概率值，根据分类器的预测结果从大到小对样例进行排序，逐个把样例加入正例进行预测，算出此时的P、R值。

如上图： 
真实情况正例反例各有10个。 
先用分数（score）：0.9作为阈值（大于等于1为正例，小于1为反例），此时TP=1，FP=0，FN=9，故P=1，R=0.1。 
用0.8作为阈值，P=1，R=0.2。 
用0.7作为阈值，P=0.67，R=0.2。 
用0.6作为阈值，P=0.75，R=0.3。 
以此类推。。。 
最后得到一系列P、R值序列，就画出P-R曲线（示意图，不对应上面数据）：
1

P-R 曲线越靠近右上角性能越好。

F1=2×P×RP+RF1=2×P×RP+R    F1值综合考虑了P值和R值。 
P、R和F1评价在信息检索中用的比较多，在机器学习中还有一种ROC曲线来评价性能。

 

参考：

1. https://www.zhihu.com/question/19645541/answer/360727092

2.https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF

3.https://www.cnblogs.com/dlml/p/4403482.html

4.https://blog.csdn.net/taoyanqi8932/article/details/54409314

5.https://blog.csdn.net/teminusign/article/details/51982877

6. https://blog.csdn.net/b876144622/article/details/80009867

7. https://blog.csdn.net/gslzszj/article/details/71056667 （非常好！）

ROC曲线，PR曲线，F1值和AUC概念解释及举例说明

mxs1123
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python深度学习实战-源代码和数据集.rar
10-25
4. 模型评估：在完成训练后，源代码将展示如何评估模型的性能，可能包括精度、召回率、F1分数、AUC-ROC曲线等指标。 5. 预测与应用：代码还将教授如何使用训练好的模型对新数据进行预测，以及如何将模型部署到生产...
DataWhale-NLP-Data-数据集
03-26
数据集在信息技术，尤其是自然语言处理（NLP）领域中扮演着至关重要的角色。"DataWhale-NLP-Data-数据集" 提供了用于训练和评估NLP模型的资源，这通常涉及到文本分类、情感分析、命名实体识别、机器翻译等任务。以下...
minist深度学习并绘制准确率曲线
qq_42232094的博客
04-24 1728
minist深度学习并绘制准确率曲线 import keras from keras.datasets import mnist from keras.layers import Conv2D, MaxPool2D, Dense, Flatten,Dropout from keras.models import Sequential import matplotlib.pyplot as plt from tensorflow.keras import datasets data_path = './m
深度学习中ROC曲线和PR曲线及引申的相关知识
最新发布
weixin_41714523的博客
05-04 1032
接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号（代表第二章的阈值）刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线 [1]。
深度学习曲线
slamer的专栏
08-05 2133
１　数字图像处理教程 ２　深入学习opencv ３　研读TLD ４　研读caffe ５　开始深入有关文献
深度学习基础----ROC曲线和AUC值
weiwei935707936的博客
08-21 786
这个链接里的视频就很好：【小萌五分钟】机器学习 | 模型评估: ROC曲线与AUC值_哔哩哔哩_bilibili
Datawhale《深度学习-NLP》Task1-NLP-召回率、准确率、ROC曲线、AUC、PR曲线学习理解
cs123456789dn的专栏
03-02 578
1.下载数据 中文数据集：THUCNews THUCNews数据子集：https://pan.baidu.com/s/1hugrfRu 密码：qfud 2.基于CNN神经网络进行分类 https://github.com/gaussic/text-classification-cnn-rnnGITHUB地址 下载完成之后导入pycharm进行模型训练，此代码运行时候需...
基于深度学习的自然语言处理库.zip
02-18
自然语言处理（NLP）是计算机科学领域的一个关键分支，它专注于理解和生成人类语言。近年来，随着深度学习技术的发展，NLP已经取得了显著的进步。在本项目实践中，我们将深入探讨如何利用深度学习来解决NLP问题，...
Python-20182019校招春招秋招算法NLP深度学习机器学习面试笔记
08-10
理解模型评估指标如准确率、召回率、F1分数、AUC-ROC曲线等也非常重要。 6. **C/C++基础**：虽然Python是面试重点，但C++作为底层编程语言，其内存管理、指针操作、多态性、模板等知识也是面试官可能考察的内容。...
评价深度学习模型训练效果的曲线图
Larry Chow
01-05 1218
这些曲线图可以帮助我们了解模型在不同训练阶段的表现，从而更好地调整模型参数和超参数，提高模型的性能。
机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
kh815的博客
10-10 254
增注：虽然当时看这篇文章的时候感觉很不错，但是还是写在前面，想要了解关于机器学习度量的几个尺度，建议大家直接看周志华老师的西瓜书的第2章：模型评估与选择，写的是真的很好！！ 以下第一部分内容转载自：机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)是怎么一回事 摘要： 数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率...
这就是神经网络 17：深度学习-评价指标_ROC_mAP
yuanlulu的博客
05-08 9355
概述 本文主要讲述目标检测指标mAP。主要也是自己做这块有段时间，但是这个指标一直没弄的特别清楚。而且网上很多博客写的并不准确，会给人不少舞蹈，希望自己的文章能帮到别人。 基础知识 true positive, false positive, true negative, false negative 本段参考《目标检测的评价指标》，链接见最下方。 首先解释一下上面四个词： 分类正确的两类： t...
深度学习原理3——深度学习评价指标
xiaotiig的博客
12-26 5802
衡量一个模型的好坏，首先需要确定指标体系，目前常用的指标有如下几个： TP FP TN FN 准确率 精度 召回率 AP MAP IOU MIOU RP曲线：PR = Precision vs Recall 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式 ...
一分钟看懂深度学习中的准确率（Accuracy）、精度（Precision）、召回率（Recall）和 mAP
程序猿视角
11-23 3万+
1. 真假阳性阴性 我们查体的时候，经常会听说检测结果呈”真阳性“、”假阴性“等说法。 其中”真“、"假"说的是检查结果的对错。”真“意味着检测结果是正确的，"假"意味着检测结果是错误的。 ”阳性“、"阴性"说的是这次的检查结果。阳性，意味检测出了预定的目标。阴性，意味着没查出预定的目标。 一共四种组合： 检测结果 英文术语 含义 真阳性 true positive 正确地检测到阳性结果：即检测结果正确，并且结果呈现阳性 假阳性 false positive 错误地检测到阳性结果：即
Python绘制loss曲线、准确率曲线
热门推荐
WYKB_Mr_Q的博客
07-07 5万+
使用 python 绘制网络训练过程中的的 loss 曲线以及准确率变化曲线，这里的主要思想就时先把想要的损失值以及准确率值保存下来，保存到 .txt 文件中，待网络训练结束，我们再拿这存储的数据绘制各种曲线。其大致步骤为：数据读取与存储 - > loss曲线绘制 - > 准确率曲线绘制我们首先要得到训练时的数据，以损失值为例，网络每迭代一次都会产生相应的 loss，那么我们就把每一次的损失值都存储下来，存储到列表，保存到 .txt 文件中。保存的文件如下图所示： 上图为部分损失值，根据迭代次数而异，要是迭
深度学习评估-准确率(Precision)、召回率(Recall)、F值(F-Measure)计算代码
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
09-06 9696
def precision(y_true, y_pred): # Calculates the precision true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1))) pre...
模型评估-2
weixin_30606461的博客
01-25 430
一、分类算法的评估 1、二分类 ROC与AUC 1.1 roc曲线：接收者操作特征(receiveroperating characteristic) roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)；纵轴：真正类率(true postive rate TPR)灵...
机器学习算法详解：ROC与AUC理解及应用
模型评估除了ROC和AUC-c之外，还包括其他指标，如准确率、精确率、召回率和F1分数等。在实际应用中，需要根据具体业务需求选择合适的评估标准。例如，对于医疗诊断系统，可能更关注降低假阳性率，而对于垃圾邮件过滤...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值