【自然语言处理】——分类的评价指标

最新推荐文章于 2024-07-29 17:57:20 发布
最新推荐文章于 2024-07-29 17:57:20 发布
阅读量1.4k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40449300/article/details/89492688
版权

一、四个基本概念

         TP、True Positive   真阳性：预测为正，实际也为正

         FP、False Positive  假阳性：预测为正，实际为负

         FN、False Negative 假阴性：预测与负、实际为正

         TN、True Negative 真阴性：预测为负、实际也为负。

        【一致判真假，预测判阴阳。】

在这里插入图片描述

二、F1-score 

      F1分数（F1-score）是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0。

F_{1}=2\cdot \frac{precision\cdot recall}{precision+recall}

      此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同等重要，F2分数认为召回率的重要程度是精确率的2倍，而F0.5分数认为召回率的重要程度是精确率的一半。计算公式为：

F_{\beta }=\left (1+\beta ^{2} \right )\cdot \frac{precision\cdot recall}{\left (\beta ^{2}\cdot precision \right )+recall}

      G分数是另一种统一精确率和的召回率系统性能评估标准，G分数被定义为召回率和精确率的几何平均数。

G=\sqrt{precision\cdot recall}

三、查准率/查全率

        1、精准度 / 查准率(precision)：指被分类器判定正例中的正样本的比重

precision_{k}=\frac{TP}{TP+FP}

         2、召回率 / 查全率 (recall)：指的是被预测为正例的占总的正例的比重

recall_{k}=\frac{TP}{TP+FN}

         3、另外，介绍一下常用的准确率(accuracy)的概念，代表分类器对整个样本判断正确的比重。

accuracy=\frac{TP+TN}{TP+TN+FP+FN}

         4、通过对第三步求得的各个类别下的F1-score求均值，得到最后的评测结果，计算方式如下：

score=(\frac{1}{n}\sum f1_{k})^{2}

 三、其他

        参考链接：  ROC曲线与AUC值

数据库练兵场
关注
专栏目录
自然语言处理评价指标学习
小陈的学习博客
01-18 604
BLEU概述评分过程学习博客 概述 BLEU - bilingual evaluation understudy，用于度量同一源语句的自动翻译与一个或多个人工创建的参考翻译之间的差异。 评分过程 BLEU 算法将自动翻译的连续短语与它在参考翻译中找到的连续短语进行比较，并以加权方式对匹配项数进行计数。 这些匹配项与位置无关。 匹配度越高表示与参考翻译的相似度越高，分数也越高。 不会考虑可理解性和语法正确性。 【注】只有使用相同的测试集、相同的语言对和相同的 MT 引擎比较 BLEU 结果时，BLEU 分数
深入理解搜索引擎——搜索评价指标
我是药老的博客
05-19 3753
    搜索引擎，在做好query理解、索引召回以及排序模型之后，就能直接推上线了吗？答案是否定的，还需对其性能和质量进行评测。性能无非是对时间和空间的运行效率作评测，不细讲，今天讲讲搜索引擎的质量评测。通过质量评测，可根据评测结果不断的进行改进和研究，也可以验证搜索引擎在真实环境中运行时的实际效果。因此，搜索引擎的质量评测对于整个系统的研制和发展是至关重要的。     那么有哪些指标可以评估搜索引擎的结果质量呢？最广为人知的
自然语言处理的评价指标
m0_37531129的博客
10-03 2903
自然语言处理 机器翻译常用的评价度量: 客观评价指标 BLEU ROUGE METEOR CIDEr 主观评价指标 BLEU BLEU(Bilingual Evaluation understudy) 是一种流行的机器翻译评价指标,一种基于精度的相似度量方法, 用于分析候选译文和参考译文中n元组共同出现的程度. 由IBM于2002年提出,对于一个待翻译句子, 候选译文可以表示为Ci, 而对应的...
二分类、多分类、多标签分类的评价指标
最新发布
LiuRuiaby35646的博客
07-29 1566
每个样本只能属于两个类别中的一个每个样本只能属于多个类别中的一个。准确率是正确分类的样本数占总样本数的比例。精确率是模型正确预测的正类样本数占所有预测为正类的样本数的比例。召回率是模型正确预测的正类样本数占所有实际为正类的样本数的比例。F1分数是精确率和召回率的调和平均数。混淆矩阵是一个表格，用于描述模型预测结果的表现。ROC AUC 是 ROC 曲线下的面积，衡量模型的分类性能分类报告汇总了精确率、召回率和 F1 分数等指标。
自然语言处理当中评价指标汇总
热门推荐
极客梦的专栏
05-11 1万+
自然语言处理当中评价指标很多，好多专用的术语，本篇旨在对常用的评价指标汇总，督促自己系统学习，大家当做参考不足之处请指出并做交流。 文本分类评测指标如下： P-R曲线的比较： 对于A和B曲线，如果需要比较，比较两个曲线的轮廓的面积. 宏观和微观评价指标 ROC与AUC曲线 机器翻译当中的评价指标BLEU： 对机器翻译作人工评价时会考量到翻译的许多方面：如机器的充分性、忠实度和流
分类评价指标
herosunly的博客
04-30 6193
1. 混淆矩阵 1.1 精准率 1.2 召回率 2. ROC曲线 3. AUC 4.1 AUC的一般判断标准 4.2 AUC ROC曲线   ROC曲线的横轴是FPR，纵轴是TPR。FPR是假正率，它和安全领域中的误报率是等价的，计算公式为FPFP+TN\frac{FP}{FP +TN}FP+TNFP​，误报率是从真实白样本角度来看的。TPR指的是命中率，也是召回率，计算公式为TPTP+FN\frac{TP}{TP+FN}TP+FNTP​，其中漏报率=1-命中率，而漏报率是从真实黑样本角度来看的。
自然语言处理评价指标
金石软件
12-30 2585
训练好的模型，上线之前要对模型进行必要的评估，目的让模型对语料具备较好的泛化能力。具体有以下这些指标可以参考。 1.错误率、精度、准确率、精确度、召回率、F1 衡量。 错误率：是分类错误的样本数占样本总数的比例。对样例集 D，分类错误率计算公式如下 精度：是分类正确的样本数占样本总数的比例。这里的分类正确的样本数指的不仅是正例分类正确的个数还有反例分类正确的个数。对样例集 D，精度计算公...
自然语言处理的应用-基于mindspore的情感分类实验
05-29
在"自然语言处理的应用-基于MindSpore的情感分类实验"这一主题中，我们将深入探讨如何利用MindSpore这一深度学习框架进行情感分析。 MindSpore是由华为开发的一款开源深度学习框架，它支持多种硬件平台，包括CPU、...
自然语言处理之——句法分析
xi_xiyu的博客
01-26 1581
一．摘要 在自然语言处理的一个重要分支领域——机器翻译中，句法分析占据着核心的地位，句法分析也是自然语言处理的核心技术，是机器理解语言的关键部分。句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的关系，通常会以句法树来表示句法分析的结果。本次分享将介绍句法分析相关的技术。 二．概述 句法分析是决定自然语言处理进度的关键部分。句法分析主要有一下两个障碍：歧义和搜索空间。自然语言区别于人工语言的一个重要特点就是它存在着大量的歧义现象。人们可以依靠大量的先验知识有效的消除掉歧义，而在机器学..
自然语言处理（八）——语言模型性能评价
huihuisd的博客
01-03 622
一、概念 信息熵：熵这个概念是香农从热力学中引进的，热力学中的熵是代表分子状态混乱程度，在信息论中熵又称为自信息，可以视为描述一个随机变量的不确定性的数量。它表示信源X每发一个符号(不论发什么符号)所提供的平均信息量。一个随机变量的熵越大,它的不确定性越大，那么，正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。 这是宗成庆老师的书《统计自然语言处理》里面的解释，光看...
自然语言处理实践（新闻文本分类）——task01
weixin_43332422的博客
07-21 380
自然语言处理实践（新闻文本分类） 自然语言处理( NLP )是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用了不需要传统的、任务特定的特征工程的单个端到端神经模型。在本课程中，学生将全面了解NLP深度学习的前沿研究。通过讲座、作业和最终项目，学生将学习设计、实现和理解他们自己的神经网络模型的必要技能。 赛题理解 赛题数据 根
自然语言处理-评价指标
weixin_58199582的博客
02-21 703
信息分类的评价指标一般有以下几个：混淆矩阵、准确率、精准率、召回率、F1 Score值、ROC曲线、AUC面积和分类评估报告。重点介绍了Sklearn的分类评价指标的函数和方法。讲解了中文分词的指标以及未登录词和登录词召回率。
分类方法的评价指标
qq_41896151的博客
03-15 1642
首先明确TP,FN,TF,FP四个术语代表的含义（见混淆矩阵） 评价指标： 正确率（accuracy）正确率是最常见的评价指标，accuracy = (TP+TN)/(P+N)，正确率是被分对类别的样本数在所有样本数中的占比，通常来说，正确率越高，分类器越好。 错误率（error rate) 错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某 一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate。 灵敏度（sensi
自然语言处理评估指标
weixin_41912999的博客
08-28 1101
perplexity = e**(sum(losses) / num_tokenized_tokens)，遵循深度学习框架中的最新约定。
自然语言处理（五）准确率(Precision)、召回率(Recall)、F值(F-Measure)
HeroIsUseless的博客
06-10 1384
准确率(accuracy)计算公式为(头部是真正和真负，也就是预测对的数量比上总量，叫准确率，也挺符合的)： True Positive(真正，TP)：将正类预测为正类数 True Negative(真负，TN)：将负类预测为负类数 False Positive(假正，FP)：将负类预测为正类数误报 (Type I error) False Negative(假负，FN)：将正类预测为负类数→漏报 (Type II error) 通常来说，正确率越高，分类器越好。因为这里数据分布不均衡(地震)
分类的评价指标
The_syx的博客
09-20 273
精度，召回率，ROC曲线和F1得分概述介绍知道模型的准确性是必要的，但仅仅了解模型的性能水平还不够。因此，还有其他评估指标可帮助我们更好地了解模型的性能。其中一些指标是精度，召回率，RO...
分类任务评价指标
qq_37701945的博客
01-19 5033
评价指标 在分类的过程中我们需要通过一些指标来对我们的模型进行评价，下面的一些是经常用来评价模型好坏的一些指数：准确率、精确率、召回率、F1 Score、P-R曲线、ROC、AUC。 准确率、精确率、召回率、F1 Score 1. 准确率 Accuracy = (TP + TN) / (TP + FN + FP +TN) 这个指标主要是用来指示预测正确的样本数占总样本数的个数 2. 精确率（查准率） Precision = TP / (TP+FP) 精确率反应的是预测为正的样本里真的为正的样本所占的比例
分类问题评价指标总结
baidu_39638008的博客
10-04 2220
1 二分类 评价指标：准确率，精确率，召回率，F1-Score， AUC, ROC, P-R曲线 对于二分类问题， 1.1 准确率（Accuracy） 准确率就是模型预测正确的样本数量占总样本数量的比例。 一般分类问题采用这个评价指标，但是对于数据集不平衡的情况，准确率就不具有代表性了。比如：有的类别样本多，有的类别样本占比小。若样本多的类别识别率很高，样本少的类别都识别错误，此时用准确率来评估模型的好坏显然不是很好的选择。 1.2 精确率（Precision） ...
UniEval：统一多维评估器在自然语言生成中的新范式
在自然语言处理领域，多维度评估是评估自然语言生成（NLG）模型质量的重要方法，它关注文本的连贯性、流畅性等多方面特性。传统的评估方式主要依赖于基于相似性的指标，但这种方法无法全面反映高级模型的性能。针对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值