机器学习算法评估_准确率(Accuracy),精确率(Precision),召回率和F1-Measure

一、前言

自然语言处理(ML)、机器学习(NLP)、信息检索(IR)等AI领域,评估(evaluation)是一项非常重要的工作。模型或算法的评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和综合评价指标(F1-Measure)。

二、准确率(Accuracy)

准确率(Accuracy)是一个用于评估分类模型的指标。简单讲就是模型预测正确数量所占总量的比例。
准确率的公式:
在二元分类中,可根据正类别与负类别按如下方式计算:
在这里插入图片描述

其中:TP = 真正例 ,TN = 真负例 ,FP = 假正例 , FN = 假负例。
试举例计算模型的准确率,假设某模型将100个肿瘤分为恶性(正类别)或良性(负类别):

在这里插入图片描述
根据上述公式可以计算该模型的准确率
在这里插入图片描述

该模型的准去确率为0.91,也就是91%,(100个样本中有91个预测正确),这是不是可以表示我们的肿瘤分类器在识别恶性肿瘤方面酒标的非常出色呢?
其实,仔细观察我们不难发现,100个肿瘤样本中,91个为良性,其中,1个FP(假正例)& 90个TN(真负例),9个为恶性,其中,1个TP(真正例)&8个FN(假负例)。
整个样本中有91个良性肿瘤,该模型将90个样本正确识别为良性肿瘤,将1个样本识别为恶性,这个效果很好。但是,在9个恶性肿瘤样本中,将8个样本识别为良性,9个恶性肿瘤有8个未被诊断出来,8/9,这个结果就很差强人意!

91%的准确率,看起来还不错,如果另一个肿瘤分类器模型总是预测良性,那么这个模型使用我们的样本进行预测,也会得出相同的准确率。

换句话说,该模型与那些没有预测恶性肿瘤和良性肿瘤的模型差不多。

还有,当我们使用分类不平衡的数据集(如:正类别标签与负类别标签数量存在明显差异)时,就一项准确率并不能反映情况。
因此,为了更好的评估分类不平衡的数据集问题,下面引入精确率(Precision)和召回率(Recall)。

三、精确率(precision)

精确率为解决在被识别为正类别的样本中,为正类别的比例。精确率的公式定义如下:
在这里插入图片描述

注意: 如果模型预测结果中没有假正例,则模型的精确率为1。
其精确率的计算结果:
在这里插入图片描述

可以看到该肿瘤预测模型的精确率为0.5,换句话说就是,该模型在预测恶性肿瘤方面的正确率是50%。

四、召回率(Recall)

召回率(又名查全率)为解决在所有正类别样本中,被正确识别为正类别的比例。召回率的公式定义如下:
在这里插入图片描述

召回率的计算结果如下:

在这里插入图片描述

由以上结果可以看出,该模型的召回率为0.11,那么,就可以说,该模型的能够正确识别出所有恶性肿瘤的百分比是11%。

想要全面评估模型的有效性,必须同时检查精确率与召回率。但是,很遗憾,精确率和召回率往往是此消彼长。也就是说,提高精确率通常会降低召回率,反之亦然。

五、综合评价指标(F1-Measure)

F-Measure是一种统计量,又称F-Score,也是精确率(Presicion)和召回率(Recall)的加权调和平均,常用于评价分类模型的好坏。
F-Measure数学公式为:
在这里插入图片描述
其中,P为Precision, R为Recall,a为权重因子。
当a = 1时,F值变为最常见的F1了,代表精确率和召回率的权重一样,是最常见的一种评价指标,因此,F1的数学公式为:
在这里插入图片描述
根据前面的出的精确率和召回率,便可得出其F1值:

在这里插入图片描述
F1 综合了精确率和召回率的结果,当F1较高时,则说明模型或算法的效果比较理想。

  • 9
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鲸落寰宇

小编会不断努力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值