「机器学习ML」准确率和精确率不是一回事儿！！！

Reese小朋友

已于 2023-12-18 11:40:03 修改

阅读量1.2k

点赞数 29

分类专栏： Machine Learning Stuffs 文章标签：机器学习人工智能

于 2023-12-13 14:13:44 首次发布

本文链接：https://blog.csdn.net/poHUNNYoh/article/details/134966435

版权

Machine Learning Stuffs 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Accuracy是Accuracy, Precision是Precision.

附上发音/ˈakjʊrəsi/ /prɪˈsɪʒn/

Intro

Accuracy在常见的科研文献翻译英译中里面，经常出现为“准确率”
Precision常被译为“精确率”、“精准率”等

和Recall召回率+F1 scoreF1值常常出现在一起的是Precision精确率，而不是准确率Accuracy，这和他们的计算方式有关。Accuracy准确率其实是最好理解的指标，将分类正确的数量除以总数量即可，下文会详细叙述。

Related Info

首先介绍混淆矩阵Confusion Matrix

（图片第一列第一行P这里代表Positive正样本，N代表Negative负样本；T与F分别代表预测分类任务的成功或失败）

有关混淆矩阵

Python编程machine learning中有个函数可以直接输出样本预测的混淆矩阵结果，详见浙江大学mooc课程超级适合入门的python入门与理解ML基本概念和操作的课程

什么是正样本和负样本呢？

机器学习-分类问题

分类任务中，我们常常需要分类器把两类样本区别开来进行尽可能正确的预测输出。比如检测一段文字中表达的语义情感正向负向（带有积极or消极情绪信息分类），或者一个图片分类器可以区别出猫或狗的图片

假如现在有一个猫狗图片分类器对100张有猫的或者狗的图片进行分类，针对每一张图片，分类器要么预测它是猫图片的那一类，要么预测出这一张是狗的图片。
图源Instagram
不是上图这种，而是单张主子或者单张狗狗的图片）

这里我们假设猫是正样本Positive，则狗为负样本Negative；分别对应着上图混淆矩阵中的P与N。

TP代表着True Positive也就是正确的True把一张猫的图片预测成了猫，即表中的把p预测为了p
FN则代表着分类器把p预测成了n，即把猫的图片识别为了狗的图片，这里是False失败的情况
TN代表True Negative则把负样本正确的预测出来了，把狗的图片识别为狗，表中的n预测为n
FP则代表分类器把n预测输出为了p，将狗的图片当成了猫的图片，失败

Accuracy准确率+Precision精确率+Recall召回率+F1 scoreF1值的计算方法如下：

在这里插入图片描述
其中F-score的计算方法是基于recall召回率，在上图的公式中，如果beta==1，则求得的即为F1-score

总结戳这里：

accuracy准确率其实是最好理解的指标，将分类正确的数量除以总数量。e.g.分类器的结果显示100张图片中60张图片是猫，40张是狗。在分类结果与真实情况对比之后发现60张猫的图片中有45张分类正确，40张狗的图片中有30张分类正确→准确率即为（30+45）/100=0.75

->这个指标不考虑狗的照片和猫的照片分类结果是否分类发挥均衡。如果一个分类器使坏，对于一个75张狗照片25张猫照片的图片数据集，让任何的分类输出结果均为狗，猫的照片全部不管全部错误，那么在此情况下准确率仍然为75/（75+25）=0.75

->Precision精确率+Recall召回率的引入就可以很好的解决上述的极端情况，评估指标也更完善

人话形容得分高的精准率，召回率，F1值：对，全，又对又全

Reference

https://zhuanlan.zhihu.com/p/97870600

(1)Recall / Sensitivity / TPR(True Positive Rate) (召回率，查全率，敏感性)：

这三个词是同一个意思，含义都是预测正确的所有正样本占实际所有正样本的比例，即：需要尽可能地把所需的类别检测出来，而不在乎结果是否准确。

e.g.对于地震的预测，我们希望每次地震都能被预测出来，这个时候可以牺牲precision。假如一共发生了10次地震，我们情愿发出1000次警报，这样能把这10次地震都涵盖进去（此时recall是100%，precision是1%），也不要发出100次警报，其中有8次地震给预测到了，但漏了2次（此时recall是80%，precision是8%）

(2)Precision(查准率/精准率):

含义是预测为正样本的样例中预测对的比例，即：需要尽可能地把所需的类别检测准确，而不在乎这些类别是否都被检测出来。比如对于罪犯的预测，我们希望预测结果是非常准确的，即使有时候放过了一些真正的罪犯，也不能错怪一个好人

阶段小结：

Recall和Precision是相互矛盾的。如果想要更高的recall，那么就要让模型的预测能覆盖到更多的样本，但是这样模型就更有可能犯错，也就是说precision会比较低。如果模型很保守，只能检测出它很确定的样本，那么其precision会很高，但是recall会相对低。
Recall的分母是样本中正类（TP+FP）的个数，因此样本一旦确定，其分母即为定值，也就是说Recall的变化随分子增加而单调递增；Precision的分母是样本中预测为正类的个数，其会随着分类阈值的变化而变化，因此Precision的变化受TP和FP的综合影响，不单调，变化情况不可预测。