混淆矩阵
- 准确率:预测对的样本在所有样本中的比例,适用于多分类
T P + T N T P + T N + F N + F P \frac {TP+TN}{TP+TN+FN+FP} TP+TN+FN+FPTP+TN
准确率的局限性: 当样本不平衡时,用准确率评估会失效。例如正负样本为9:1,模型全都预测成正样本,准确率为90% - 精确率和召回率只适用于二分类
精确率:预测对的样本在预测值为真中的比例
T P T P + F P \frac{TP}{TP+FP} TP+FPTP
召回率:预测对的样本在真实值为真中的比例
T P T P + F N \frac{TP}{TP+FN} TP+FNTP
我们希望精确率和召回率都尽量高,但精确率和召回率是此消彼长的,无法做到双高;如果同时考虑两者,只能找到一个平衡点来兼顾精确率和召回率,F1-score - F1-score是精确率和准确率的调和平均值
( 1 + β 2 ) p r e c i s i o n ∗ r e c a l l β 2 p r e c i s i o n + r e c a l l (1+\beta^2)\frac{precision*recall}{\beta^2precision+recall} (1+β2)β2precision+recallprecision∗recall
如果我们比较注重precision,应该调小beta;注重recall,调大beta
不同的业务注重不同的指标,比如搜索某个内容,我们在保证召回率的前提下,提升精确率;在癌症检测,金融欺诈,地震监测方面,我们在保证精确率的情况下,提高召回率。 - 样本不平衡的情况下,选择F1或ROC曲线作为评估指标。
P-R曲线:
P-R曲线的纵轴是精确率,横轴是召回率;P-R曲线上的每一个点都代表着在不同的阈值下的精确率和召回率。
阈值不同,导致混淆矩阵不同,导致精确率和召回率也不同,这里的阈值指的就是softmax分类的阈值。
AUC
ROC曲线下的面积,ROC曲线的x轴是FP假阳率,y轴是TP真阳率