机器学习基础梳理/模型评估指标

混淆矩阵

• 准确率：预测对的样本在所有样本中的比例，适用于多分类
  $\frac{TP+TN}{TP+TN+FN+FP}$
  准确率的局限性： 当样本不平衡时，用准确率评估会失效。例如正负样本为9：1，模型全都预测成正样本，准确率为90%
• 精确率和召回率只适用于二分类
  精确率：预测对的样本在预测值为真中的比例
  $\frac{TP}{TP+FP}$
  召回率：预测对的样本在真实值为真中的比例
  $\frac{TP}{TP+FN}$
  我们希望精确率和召回率都尽量高，但精确率和召回率是此消彼长的，无法做到双高；如果同时考虑两者，只能找到一个平衡点来兼顾精确率和召回率，F1-score
• F1-score是精确率和准确率的调和平均值
  $(1+{\beta }^2)\frac{precision\ast recall}{{\beta }^{2}precision+recall}$
  如果我们比较注重precision，应该调小beta；注重recall，调大beta
  不同的业务注重不同的指标，比如搜索某个内容，我们在保证召回率的前提下，提升精确率；在癌症检测，金融欺诈，地震监测方面，我们在保证精确率的情况下，提高召回率。
• 样本不平衡的情况下，选择F1或ROC曲线作为评估指标。

P-R曲线：

P-R曲线的纵轴是精确率，横轴是召回率；P-R曲线上的每一个点都代表着在不同的阈值下的精确率和召回率。
阈值不同，导致混淆矩阵不同，导致精确率和召回率也不同，这里的阈值指的就是softmax分类的阈值。

AUC

ROC曲线下的面积，ROC曲线的x轴是FP假阳率，y轴是TP真阳率