人工智能/机器学习基础知识——Error Metrics

Error Metrics

CSDN

CSDN

误差度量方法

Accuracy

准确率

Top-K Accuracy

Top-K 准确率

• 若预测结果中概率最大的前K个结果包含正确标签即分类正确

  对于[0.1, 0.2, 0.3, 0.4]，正确标签为1

  • Top-1：分类错误，最大概率值0.4不包括标签1

    平时最常用的、默认的Accuracy就是Top-1 Accuracy

  • Top-2：分类错误，最大的两个概率值0.3、0.4不包括标签1

  • Top-3：分类正确，最大的三个概率值0.2、0.3、0.4包括标签1

  • Top-4：分类正确，最大的四个概率值0.1、0.2、0.3、0.4包括标签1

Precision

精确率

• 对于二分类：

  • 简写为P，代表预测为正样本中实际正确的个数除以预测为正样本的个数$$P=\frac{预测为正样本中实际正确的个数（TP）}{预测为正样本的个数（TP+FP）}$$

• 对于多分类：

  • Micro Average（微平均）

    直接求总的TP、FP

  • Macro Average（宏平均）

    先分别计算每个类别的Precision，然后求平均

Recall

召回率

• 对于二分类：

  • 简写为R，代表预测为正样本中实际正确的个数除以实际正样本的个数$$R=\frac{预测为正样本中实际正确的个数（TP）}{实际正样本的个数（TP+FN）}$$

• 对于多分类：

  • Micro Average（微平均）

    直接求总的TP、FN

  • Macro Average（宏平均）

    先分别计算每个类别的Recall，然后求平均

F1-Score

F1-Score

• 对于二分类：

  • F1 Score：$$F_1=2\frac{PR}{P+R}$$

• 对于多分类：

  • Micro Average（微平均）

    在Micro Average模式下求出P与R，直接按公式计算即可

  • Macro Average（宏平均）

    在Macro Average模式下求出每个类别的P、R、F1，然后对F1求平均值即可

MAPE

Mean Absolute Percentage Error

• 公式为：

  $$MAPE=\frac{100\%}{n}\sum _{i=1}^n\left|\frac{{\hat{y}}_i-y_i}{y_i}\right|$$

• 当真实数据等于0时，存在分母除0的问题，往往只用于Metric Eval阶段，而不作为Loss Func

SMAPE

Symmetric Mean Absolute Percentage Error

• 公式为：

  $$SMAPE=\frac{100\%}{n}\sum _{i=1}^n\frac{\left|{\hat{y}}_i-y_i\right|}{\left(\left|{\hat{y}}_i\right|+\left|y_i\right|\right)/2}$$

• 当真实数据等于0时，且预测值也为0时，存在分母除0的问题，往往只用于Metric Eval阶段，而不作为Loss Func

R2

Coefficient of Determination