Metrics

precision、Recall、specificity

• $T{P}_i$是指分类i的True Positive；预测为正样本，实际也为正样本的样本数
• $F{P}_i$是指分类i的False Positive；预测为正样本，实际为负样本的样本数
• $T{N}_i$是指分类i的True Negative；预测为负样本，实际也为负样本的样本数
• $F{N}_i$是指分类i的False Negative；预测为负样本，实际为正样本的样本数

精确率(Precision)$$P=\frac{TP}{TP+FP}$$
召回率(Recall)$$R=\frac{TP}{TP+FN}$$
准确率(Accuracy)$$Acc=\frac{TP+TN}{TP+FN+FP+TN}$$
特异性(specificity)$$S=\frac{TN}{FP+TN}$$

假如有100个样本，其中1个正样本，99个负样本：

• 如果模型的预测只输出0，那么准确率是99%，精确率和召回率为0。
• 如果模型的预测只输出1，那么准确率是1%，精确率为1%，召回率为100%。
• 这时候用哪一个来衡量模型的好坏显然都是不适合的。
• 对于不平衡的二分类问题，F1score和AUC的评价指标更为恰当。

F1score

F1分数可以看作模型准确率和召回率的一种加权平均，最大值是1，最小值是0，值越大意味着模型越好。
F1用来衡量二元分类器性能。 micro F1score和macro F2score用来衡量多元分类器性能。

F1score

$$F_1=\frac{2}{\frac{1}{P}+\frac{1}{R}}=\frac{2P\ast R}{P+R}$$参数𝛽衡量PR两者关系$$F_{\beta }=\frac{(1+{\beta }^2)\ast P\ast R}{{\beta }^2\ast P+R}$$如果𝛽>1，召回率有更大影响，如果𝛽<1，精确率有更大影响。当𝛽=1，精确率和召回率影响力相同，和F1形式一样。

macro F1score

假设对于一个多分类问题，有三个类，分别记为1、2、3，

1. 分别计算每个类的precision，$P_i$
2. 每个类的recall，$R_i$
3. 随后计算每个类的F1score：F1，F2，F3
4. macro F1score就是：$$macroF1score=\frac{(F1+F2+F3)}{3}$$

micro F1score

如果这个数据集中各个类的分布不平衡的话，更建议使用mirco-F1，因为macro没有考虑到各个类别的样本大小。

1. micro precision$$P_{mi}=\frac{T{P}_1+T{P}_2+T{P}_3}{T{P}_1+T{P}_2+T{P}_3+F{P}_1+F{P}_2+F{P}_3}$$

2. micro recall$$R_{mi}=\frac{T{P}_1+T{P}_2+T{P}_3}{T{P}_1+T{P}_2+T{P}_3+F{N}_1+F{N}_2+F{N}_3}$$

3. 则micro F1score为$$microF1score=\frac{2P_{mi}\ast R_{mi}}{P_{mi}+R_{mi}}$$

RoC曲线和PR曲线

1. 灵敏度(true positive rate ,TPR)，所有实际正例中，正确识别的正例比例。和召回率的表达式相同：$$TPR=\frac{TP}{TP+FN}$$
2. 特异度(false positive rate, FPR)，所有实际负例中，错误识别为正例的比例：$$FPR=\frac{FP}{FP+TN}$$
   
3. 以TPR为y轴，以FPR为x轴，就得到了RoC曲线。TPR越高，FPR越小，模型和算法就越高效，也就是画出来的RoC曲线越靠近左上越好。RoC曲线下方的面积越大则模型越优，所以RoC曲线下的面积，即AUC（Area Under Curve）值可作为算法和模型好坏的标准。
4. 以精确率为y轴，以召回率为x轴，就得到了PR曲线。精确率越高，召回率越高，模型和算法就越高效，也就是画出来的PR曲线越靠近右上越好。