机器学习评价指标之分类

评价指标

分类算法的评价指标

1. 符号声明：

   • 测定集：$\tau =\{(x^{(1))},y^{(1)}),...,(x^{(M))},y^{(M)})\}$

   • 结果集： { y ( 1 ) , . . . , y ( M ) } \{y^{(1)},...,y^{(M)}\} {y(1),...,y(M)}

   • TP 样本： 样本真实类别为 q，预测类别也为 q，$T{P}_q={\sum }_{(m=1)}^{M}I(y^{(m)}={\hat{y}}^{(m)}=q)$

   • FN 样本： 样本真实类别为 q，预测类别也非 q，$F{N}_q={\sum }_{(m=1)}^{M}I(y^{(m)}=q\wedge {\hat{y}}^{(m)}\ne q)$

   • FP 样本： 样本真实类别非 q，预测类别也为 q，$F{P}_q={\sum }_{(m=1)}^{M}I(y^{(m)}\ne q\wedge {\hat{y}}^{(m)}=q)$

   • TN 样本： 样本真实类别非 q，预测类别也非 q，$T{P}_q={\sum }_{(m=1)}^{M}I(y^{(m)}\ne q\wedge {\hat{y}}^{(m)}\ne q)$

     T\F：预测是\否正确；

     P\N：真实类别是\否为 q。

2. 指标定义

   • 准确率：$Acc=\frac{1}{M}{\sum }_{m=1}^{M}I(y^{(m)}={\hat{y}}^{(m)})$

   • 错误率：$Err=\frac{1}{M}{\sum }_{m=1}^{M}I(y^{(m)}\ne {\hat{y}}^{(m)})=1-Acc$

     以上两种指标主要用于预测类别的整体性能（因为求的是平均嘛）

   • 精确率：$P_q$ 预测为类别 q 的样本中，预测正确的比例

   • 召回率：$R_q$ 真实标签为类别 q 的样本中，预测正确的比例

     以上两指标，描述了单个类的性能

   • F 值：$P_q$ ，$R_q$ 的加权调和平均，$\frac{1}{F}=\frac{1}{(1+{\beta }^2)P_q}+\frac{{\beta }^2}{(1+{\beta }^2)R_q}$

     #数据融合：通过调和平均，融合数据

   • 交叉验证：我们往往会把原始数据平均分为 K 组，每次选 K-1 组作为训练集，一组作为验证集，以便获得 K 个模型，将它们在验证集上错误率的平均作为评价指标