机器学习中评估指标-周志华《机器学习》笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq351564759/article/details/79945729

准确率,召回率,F1

问题环境:
挑出来的西瓜有多少比例是好瓜
好瓜中有多少被挑出来了
这里写图片描述
混淆矩阵可以这么解读:
第一个字母表示我预测的结果对还是错,T就是true,F就是false;
第二个字母表示,我预测的是什么正P(positive)还是负(negative);
矩阵对角线上的是我预测对的
- 查准率,准确率,precision
挑出来的瓜(我预测是好瓜)中真实为好瓜的比例,这样才能判断我预测的准确率是多少嘛

TPTP+FP

分母是预测结果中第一列,正例的和
- 查全率,召回率,recall
好瓜中有多少被我正确挑出来了
TPTP+FN

-从文式图理解
从七月在线的机器学习课中推荐系统,roc的解释更好理解,如下图
这里写图片描述
- 查准率和查全率的关系
这两个是一对矛盾的度量。一般不能兼顾。
现在想提高查准率,那么我就只把我预测是好瓜的才拿出来,结果就是准确率上来了,因为我为了保险,只预测了1个,准确率100%,但是还有那么多好瓜,加入还有99个没有预测出来,查的不全啊;如果想提高,查全率,比如挑出来100个瓜都认为是好的,但是只有50个真的是好瓜,查全率为50%,但是准确率下降了。
- F1
在一些具体场景下,对recall和precision的需求不一样;
比如在推荐系统中,尽可能希望少打扰用户,因此更在意准确率;
在逃犯信息检索中,不漏掉嫌疑人,更注重查全率;
在医生检查患者场景下,健康:患者=100:1,如果想提高准确率,怎么做?其实,这种场景下考虑的是查全率,所以不会有提高准确率这种要求了。
2PPPrecision+Recall

上述公式,更注重较小值

ROC曲线

很多情况,ml产生的结果是概率预测,然后定一个阀值来判断正负类别,实际上,根据这个概率预测,可以对测试样本进行排序,最可能的正类排在最前面,最不可能的正类排在后面。这里统一说正类,因为我们设定就是要预测它是正类的概率大小嘛~
ROC体现了一般情况下模型的泛化能力好坏
这里写图片描述
别忘了,起初,我们是要预测这个样本为正类的概率,那么我们的预测结果就有真正率(recall),假正率。
- ROC曲线绘制过程
m+个正例,m个负例,根据模型预测结果,对样例进行排序,然后先把阀值设置为最大,此时认为所有的都是负例,此时真正率,假正率都是0,即(0,0)。
然后将分类阀值依次设定为每个样例的预测值,即依次将每个样本划分为正例。设前一个标记点为(x,y),若当前的样本为真正例,对应标记点更新为(x+1m ,y),若当前的样本为假正例,对应标记点更新为(x,y+1m+),然后用线段连接相邻点。

阅读更多

没有更多推荐了,返回首页