datawhale组队学习task1--笔记记录
参考链接:https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification
多分类算法常见的评估指标如下:
其实多分类的评价指标的计算方式与二分类完全一样,只不过我们计算的是针对于每一类来说的召回率、精确度、准确率和 F1分数。
1、混淆矩阵(Confuse Matrix)
- (1)若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
- (2)若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
- (3)若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
- (4)若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
第一个字母T/F,表示预测的正确与否;第二个字母P/N,表示预测的结果为正例或者负例。如TP就表示预测对了,预测的结果是正例,那它的意思就是把正例预测为了正例。
2.准确率(Accuracy)
准确率是常用的一个评价指标,但是不适合样本不均衡的情况,医疗数据大部分都是样本不均衡数据。
A
c
c
u
r
a
c
y
=
C
o
r
r
e
c
t
T
o
t
a
l
A
c
c
u
r
a
c
y
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
Accuracy=\frac{Correct}{Total}\\ Accuracy = \frac{TP + TN}{TP + TN + FP + FN}
Accuracy=TotalCorrectAccuracy=TP+TN+FP+FNTP+TN
3、精确率(Precision)也叫查准率简写为P
精确率(Precision)是针对预测结果而言的,其含义是在被所有预测为正的样本中实际为正样本的概率在被所有预测为正的样本中实际为正样本的概率,精确率和准确率看上去有些类似,但是是两个完全不同的概念。精确率代表对正样本结果中的预测准确程度,准确率则代表整体的预测准确程度,包括正样本和负样本。
P
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
Precision = \frac{TP}{TP + FP}
Precision=TP+FPTP
4.召回率(Recall) 也叫查全率 简写为R
召回率(Recall)是针对原样本而言的,其含义是在实际为正的样本中被预测为正样本的概率。
R
e
c
a
l
l
=
T
P
T
P
+
F
N
Recall = \frac{TP}{TP + FN}
Recall=TP+FNTP
下面我们通过一个简单例子来看看精确率和召回率。假设一共有10篇文章,里面4篇是你要找的。根据你的算法模型,你找到了5篇,但实际上在这5篇之中,只有3篇是你真正要找的。
那么算法的精确率是3/5=60%,也就是你找的这5篇,有3篇是真正对的。算法的召回率是3/4=75%,也就是需要找的4篇文章,你找到了其中三篇。以精确率还是以召回率作为评价指标,需要根据具体问题而定。
5.宏查准率(macro-P)
计算每个样本的精确率然后求平均值
m
a
c
r
o
P
=
1
n
∑
1
n
p
i
{macroP=\frac{{1}}{{n}}{\mathop{ \sum }\limits_{{1}}^{{n}}{p\mathop{{}}\nolimits_{{i}}}}}
macroP=n11∑npi
6.宏查全率(macro-R)
计算每个样本的召回率然后求平均值
m
a
c
r
o
R
=
1
n
∑
1
n
R
i
{macroR=\frac{{1}}{{n}}{\mathop{ \sum }\limits_{{1}}^{{n}}{R\mathop{{}}\nolimits_{{i}}}}}
macroR=n11∑nRi
7.宏F1(macro-F1)
m
a
c
r
o
F
1
=
2
×
m
a
c
r
o
P
×
m
a
c
r
o
R
m
a
c
r
o
P
+
m
a
c
r
o
R
{macroF1=\frac{{2 \times macroP \times macroR}}{{macroP+macroR}}}
macroF1=macroP+macroR2×macroP×macroR
与上面的宏不同,微查准查全,先将多个混淆矩阵的TP,FP,TN,FN对应位置求平均,然后按照P和R的公式求得micro-P和micro-R,最后根据micro-P和micro-R求得micro-F1
8.微查准率(micro-P)
m
i
c
r
o
P
=
T
P
‾
T
P
‾
×
F
P
‾
{microP=\frac{{\overline{TP}}}{{\overline{TP} \times \overline{FP}}}}
microP=TP×FPTP
9.微查全率(micro-R)
m
i
c
r
o
R
=
T
P
‾
T
P
‾
×
F
N
‾
{microR=\frac{{\overline{TP}}}{{\overline{TP} \times \overline{FN}}}}
microR=TP×FNTP
10.微F1(micro-F1)
m
i
c
r
o
F
1
=
2
×
m
i
c
r
o
P
×
m
i
c
r
o
R
m
i
c
r
o
P
+
m
i
c
r
o
R
{microF1=\frac{{2 \times microP\times microR }}{{microP+microR}}}
microF1=microP+microR2×microP×microR