机器学习对模型分类器评分的三个指标:准确率、精确率、召回率

在构建 机器学习模型过程中,我们需要对迭代计算出来的函数模型的预测性能进行一定的度量,毕竟天下没有免费的午餐,也不存在解决问题的银弹,那么衡量一个函数最重要的一件事就是找到一个或者几个指标来衡量模型的对分类的表现如何,精确性、准确性如何。所以我们引入了三个常用的模型性能指标:准确率(accuracy)、精确率(precision)、召回率(recall)

准确率(accuracy):

首先我们要考察的是分类器多大程度的分类正确,这就是准确率。准确率的要求是要将数据集中给定的数据预测出来的结果标签要和训练标签相互一一对应,那么将一个给定的数据集进行全部数据的预测,预测值与训练标签相同的样本数量/样本总量数就是我们评判分类的准确率(acc)。

用文字表述的公式就是:

acc = (预测值与训练标签相同的样本数量)/(所有样本数量)

结果用百分比表述。我们可以从公式上看到,准确率的尺度在所有样本数量之上。

精确度(precision):

将样本分类为正样本和负样本,那么预测的结果为真(正确)或假(错误)值,就会组合出四种情况。

本文当中我不使用混淆矩阵表述样本和判定,而是使用线性表格表示,这样不容易造成认知混乱。

 

实际样本
预测判定
结果正误
状况描述真-正值假-正值真-负值假-负值

其中

假正值在统计假设检验中为Type I Error,第一类错误

假负值在统计假设检验中为Type II Error,第二类错误

 

精确度衡量的是模型函数预测的真-正值数量占所有真值数量的比例

文字表述的公式为:

精确度Precision = (真正值数量) / (真值总数量) = (真正值数量) / (真正值数量 + 真负值数量)

我们可以从公式上看到,精确度的尺度在所有判定为真值总数量之上。

 

召回率(recall):

召回率

召回率度量的是模型函数同类预测正确的能力。

召回率recall = (预测为正确的正样本数量)/(实际所有正样本数量)

我们可以从公式上看到,召回率的尺度在所有判定为所有实际正样本总数量之上。

 

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
假设我们有一个二分类问题,分类标签为“正类”和“负类”。我们使用一个机器学习模型来预测一个样本属于哪一类,然后将模型的预测结果与实际标签进行比较。在这种情况下,“准确率”、“召回率”和“精确率”的含义如下: - 准确率(Accuracy):指分类器正确分类的样本数占总样本数的比例。即准确率 = (TP + TN) / (TP + TN + FP + FN),其中TP表示真正例数(即正类样本被正确分类为正类),TN表示真负例数(即负类样本被正确分类为负类),FP表示假正例数(即负类样本被错误分类为正类),FN表示假负例数(即正类样本被错误分类为负类)。 - 召回率(Recall):指分类器正确分类的正类样本数占所有正类样本数的比例。即召回率 = TP / (TP + FN)。 - 精确率(Precision):指分类器正确分类的正类样本数占所有被分类为正类的样本数的比例。即精确率 = TP / (TP + FP)。 举个例子,假设我们有100个样本,其中60个是正类,40个是负类。我们使用一个二分类模型进行预测,结果如下: - 预测结果为正类的样本有50个,其中有40个是真正例,10个是假正例; - 预测结果为负类的样本有50个,其中有45个是真负例,5个是假负例。 那么,我们可以计算出该模型的准确率召回率精确率如下: - 准确率 = (40 + 45) / 100 = 0.85(即85%的样本被正确分类); - 召回率 = 40 / 60 = 0.67(即67%的正类样本被正确分类); - 精确率 = 40 / 50 = 0.8(即80%的被分类为正类的样本是真正例)。 这些指标可以帮助我们评估分类器的性能和优化模型的参数。例如,如果我们希望提高召回率,我们可以尝试调整模型的阈值,使其更容易将正类样本分类为正类,即可提高召回率,但同时可能会降低精确率。因此,对于不同的应用场景,需要根据实际需求来综合考虑这些指标

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值