微平均micro-F1,宏平均macro-F2计算方法

前言

F1是我们常用的衡量指标,不知道有多少同学和我一样,对micro macro一直似懂非懂,于是今天手动算了一下,分享给大家~ 相信大家看了就明白了

本文的前提是,读者已经懂了precision和recall的基本概念,不清楚的同学可以先去看一下其他的文章~

差准率(precision)和查全率(recall)

对于二分类来说,可以将标签分为正类和负类,如下图

真实标签 ＼ 预测标签	正类	负类
正类	True Positive (TP)	False Negtive (FN)
负类	False Positive (FP)	True Negtive (TN)

precision = TP / (TP + FP)

recall = TP / (TP + FN)

F1 = (precision * recall * 2) / (precesion + recall)

对于多个类别的问题来说,可以将一个多分类问题看作多个二分类问题,比如按照狗的毛色划分为黄色，白色，黑色
于是，我们可以将这个三分类问题分解为３个二分类问题，每个二分类问题的正类和负类如下表

序号	正类	负类
１	黄	白和黑
２	白	黄和黑
３	黑	黄和白

因为我们有３组正类和负类，所以可以计算出三个TP 三个FP 三个FN 三个TN，然后使用micro或者macro的方法计算出一个总的F值～

计算过程

例子

sklearn中给的例子如下图 ,可以看出macro F1为0.26,micro F1 为0.33, weighted F1 为0.26

1. >>> from sklearn.metrics import f1_score

2. >>> y_true = [0, 1, 2, 0, 1, 2]

3. >>> y_pred = [0, 2, 1, 0, 0, 1]

4. >>> f1_score(y_true, y_pred, average='macro')

5. 0.26...

6. >>> f1_score(y_true, y_pred, average='micro')

7. 0.33...

8. >>> f1_score(y_true, y_pred, average='weighted')

9. 0.26...

10. >>> f1_score(y_true, y_pred, average=None)

11. array([0.8, 0. , 0. ])

下面我们手动算一下,看看这几个数字是怎么得出来的

macro

首先我们来手动计算macro F1值

以label 0作为正类,label 1和label 2作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 0)	负类(label 1 和 label 2)
正类(label 0)	2 (TP)	0 (FN)
负类(label 1 和 label 2)	1 (FP)	3 (TN)

那么这个表对应的P和R以及F1为:
P = 2 / ( 2 + 1) = 2 / 3
R = 2 / (2 + 0) = 1
F1 = (P * R * 2) / (P + R) = 0.8

以label 1作为正类,label 0和label 2作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 1)	负类(label 0 和 label 2)
正类(label 1)	0 (TP)	2 (FN)
负类(label 0 和 label 2)	2 (FP)	2 (TN)

那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 2) = 0
R = 0 / (0 + 2) = 0
F1 = 0

以label 2作为正类,label 0和label 1作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 0)	负类(label 1 和 label 2)
正类(label 0)	0 (TP)	2 (FN)
负类(label 1 和 label 2)	1 (FP)	4 (TN)

那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 1) = 0
R = 0 / (0 + 2) = 0
F1 = 0

 

 

macro F1 为上述三个F1值的算数平均数,所以
macro-F1 = (0.8 + 0 + 0) / 3 = 0.26...
这个结果和sklearn中返回的结果一致~

weighted F1值

由于macro F1为多个F1值的算数平均数,当样本不平衡的时候,macro F1会给所有类赋予相同的权重(在sklearn给的上述例子中就是都赋予1 / 3的权重)
在样本不平衡的时候,有时我们希望根据每个类别的样本数量,给不同的类赋予不同的权重,这就是weighted-F1,例如,假设一共有3个类,它们对应的数量分别为10,5,2
那么,在计算总的F1的时候,我们希望给三个类别的F1值赋予的权重为 10 / 17, 5 / 17, 2 / 17,于是,计算总F1的时候,将会把更多的权重给样本数量多的类.

在sklearn示例代码给的例子中,可以发现label 0,label 1, label 2对应的数量均为2,所以采用macro和weight方式计算的F1值都一样,为0.26

micro F1值

micro采用的方式为,

• 将三个表格中的所有TP相加,得到总TP = 2 + 0 + 0 = 2
• 将三个表格中的所有FN相加,得到总FN = 0 + 2 + 2 = 4
• 将三个表格中的所有FP相加,得到总FP = 1 + 2 + 1 = 4

总P = 总TP / (总TP + 总FP) = 2 / (2 + 4) = 1 / 3
总R = 总TP / (总TP + 总FN) = 2 / (2 + 4) = 1 / 3
总F1 = (总P * 总R * 2) / (总P + 总R) = 1 / 3 = 0.33...
这与sklearn给的结果一致~

 

宏平均和微平均的对比

1. 如果每个class的样本数量差不多,那么宏平均和微平均没有太大差异
2. 如果每个class的样本数量差异很大,而且你想:
   • 更注重样本量多的class:使用宏平均
   • 更注重样本量少的class:使用微平均
3. 如果微平均大大低于宏平均,检查样本量多的class
4. 如果宏平均大大低于微平均,检查样本量少的class

https://blog.csdn.net/u011534057/article/details/54845298

https://blog.csdn.net/u014665013/article/details/80545180