首先该项目来自 零基础入门数据挖掘-心跳信号分类预测,在该项目中,数据具有多个类型的属性,所以有必要在本文中简单地讲述一下多分类评价指标。
1.多分类评价指标
评价指标:召回率、精确度、准确率、F1分数
多分类与二分类的评价指标有什么不同?其实没什么不同,就是将多分类细分为多个单类,然后再计算各自的指标分数值。这里会使用混淆矩阵,所以先介绍一下它。
1.1混淆矩阵
混淆矩阵:
- 若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
- 若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
- 若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
- 若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
真正类和真负类是我们真正需要的,即含字母T的类为指标所用值
1.2 评价指标
1.2.1 准确率
准确率(Accuracy)是常用的一个评价指标,但是不适合样本不均衡的情况,医疗数据大部分都是样本不均衡数据。
Accuracy = (TP + TN) / ( TP + TN + FP + FN)
1.2.2 精确度
精确率(Precision)也叫查准率简写为P,它是针对预测结果而言的,其含义是在被所有预测为正的样本中实际为正样本的概率在被所有预测为正的样本中实际为正样本的概率,精确率和准确率看上去有些类似,但是是两个完全不同的概念。精确率代表对正样本结果中的预测准确程度,准确率则代表整体的预测准确程度,包括正样本和负样本。
Precision = (TP) / (TP + FP)
1.2.3 召回率
召回率(Recall)也叫查全率 简写为R,它是针对原样本而言的,其含义是在实际为正的样本中被预测为正样本的概率。
Recall = (TP) / (TP + FN)
对于它的理解,举个例子——你在十个苹果中挑选你认为符合上佳的3个好苹果,当你选好后,你拿到仪器前测试,结果只有2个是符合要求的,这时上佳苹果的召回率是2/3。
1.2.4 F1
查准率P、查全率R分别定义为:
P = TP / (TP+FP),也就是:所有预测为正的样例中,真的正例所占比例
R = TP/ (TP+FN),也就是:所有真实为正的样例中,真的正例所占比例
F1是基于查准率与查全率的调和平均(harmonic mean)定义的:
F1 = ( 2PxR ) / ( P + R )