多分类问题的混淆矩阵

混淆矩阵、查准率P和召回率R

参加夏令营时候遇到过混淆矩阵、查准率和召回率的计算方法的问题，今天看书又回顾到这个概念，个人觉得对这个概念还是需要有非常清醒的认识的，做个记录。

二分类的混淆矩阵

假设正例为我有病，那反例就是我没病。
TP就是，我有病，判断有病。
FN就是，我有病，但是没判断出来，觉得我没病。
FP是，我没病，但是判断我有病。
TN是，我没病，判断的也是我没病，判断的是正确的。

真实情况\预测结果	正例	反例
正例	TP	FN
反例	FP	TN

查准率P和召回率R

$$P=\frac{TP}{TP+FP}$$ $$R=\frac{TP}{TP+FN}$$
这样说来，P就是我有病且判断对了，这在判断的结果都是有病的概率，那么1-P叫虚惊一场。
但是R就是，我有病且判断对了，占，实际情况我就是有病，的概率，那么1-R就是我有病但没看出来，耽误事了，这个值当然要越小越好，这种情况下R大是好事。这个知识点在机器翻译课上老师也强调过。

那么比如推荐系统中P高是目标，这样可以给用户提供更多有趣的信息；查找罪犯判断疾病中R高是目标，保证准确性，召回率很重要。

查准率P和召回率R是一组矛盾的度量。一般来说，查准率高时，召回率就会偏低，反之亦然。

12月1日补充：一个很棒的知乎例子

综合考量：$F_1$

$$F_1=\frac{2\cdot P\cdot R}{P+R}=\frac{2\cdot TP}{m+TP-TN}$$
整理得
$$F_1=\frac{2}{\frac{1}{P}+\frac{1}{R}}$$
度量可以看成是P和R的调和平均数，将$F_1$度量推广到一般形式$F_{\beta }$，能度量出P和R之间的不同偏好。
$$F_{\beta }=\frac{(1+{\beta }^2)\cdot P\cdot R}{{\beta }^2\cdot P+R}$$
$\beta$($\beta$>0)能衡量P和R之间的相对重要程度，整理公式得
$$F_{\beta }=\frac{1+{\beta }^2}{\frac{{\beta }^2}{R}+\frac{1}{P}}$$
$F_{\beta }$可以看成是P和R的加权调和平均，$\beta$=1，$F_{\beta }$退化成标准的$F_1$，即P和R同等重要；$\beta$>1时，R有更大影响；$\beta$<1时，P有更大影响。

多分类问题的混淆矩阵

处理实际问题中，往往是多分类的，多分类的P、R、$F_1$、$F_{\beta }$的计算方法要进行扩展。

真实情况\预测结果	1	2	3
1	$a_1$	$a_2$	$a_3$
2	$b_1$	$b_2$	$b_3$
3	$c_1$	$c_2$	$c_3$

给出分类为1的查准率和召回率的计算公式，对于分类为1的情况，
$$T{P}_1=a_1$$$$F{N}_1=a_2+a_3$$$$F{P}_1=b_1+c_1$$$$T{N}_1=b_2+b_3+c_2+c_3$$
此时，分类为1的查准率$P_1$和召回率$R_1$如下，
$$P_1=\frac{T{P}_1}{T{P}_1+F{P}_1}=\frac{a_1}{a_1+b_1+c_1}$$$$R_1=\frac{T{P}_1}{T{P}_1+F{N}_1}=\frac{a_1}{a_1+a_2+a_3}$$

那么对分类2应该如何计算呢？练习一下，对于分类2的情况：
$$T{P}_2=b_2$$$$F{N}_2=b_1+b_3$$$$F{P}_2=a_2+c_2$$$$T{N}_2=a_1+a_3+c_1+c_3$$
此时，分类为1的查准率$P_2$和召回率$R_2$如下，
$$P_2=\frac{T{P}_2}{T{P}_2+F{P}_2}=\frac{b_2}{a_2+b_2+c_2}$$$$R_2=\frac{T{P}_2}{T{P}_2+F{N}_2}=\frac{b_2}{b_1+b_2+b_3}$$
简记为，分子一直是预测对了的那个，分母P：竖着。R：横着。
$$macroP=\frac{1}{m}\sum _{i=0}^m{P}_i$$$$macroR=\frac{1}{m}\sum _{i=0}^m{R}_i$$$$macro{F}_1=\frac{2\cdot macroP\cdot macroR}{macroP+macroR}$$

另一种算法就是，首先获得每个分类对应二分类混淆矩阵的$T{P}_1$、$F{N}_1$、$F{P}_1$、$T{N}_1$，然后求他们的平均值，扔进上面macro公式中。

MSRA实习生，同济的子豪兄，讲的很不错～十五秒钟就能听完这个知识点～

就先写这么多啦，在这个概念上反反复复已经花了很多时间了！

2021.11.6更，看paper看糊涂了，看了半天居然没区分EM和CM。。
Evaluation metric：评价指标
Confusion Matrix：混淆矩阵