混淆矩阵评价指标_机器学习系列篇2-模型的评价机制

工作中很多时候我们需要预测一个事件发生的概率或者事件所属类别。比如你申请信用卡时候，银行会预测你将来是否逾期不还钱，或者不还钱的概率。这里我们讨论一下，一旦有了这种模型，怎么去评价一个模型的效果。

机器学习模型可以广泛的应用在不同的领域，比如预测房价或者股票，预测图片中的动物属于哪一种动物，也可以帮助机器人优化行走路线。在这里我们着重强调在机器学习领域常见的一种应用，二分类模型，比如预测客户是否会逾期。在深入理解机器学习模型的具体的建模技术手段，流程和底层算法原理之前，我们可以先了解如何通过量化的方法去评价一个模型好坏。二分类机器学习模型的输出形式有两种，一种是直接给出预测的种类，第二种是给出每一分类的概率。

1. 1 基于混淆矩阵

对于给出预测种类的模型，最直接的评价方式是查看混淆矩阵(confusionmatrix), 如下图所示：

从上图的混淆矩阵中可以看到，待评价的数据样本中，真正的正样本数量P, 真正的负样本数量N, 正样本被模型预测为正样本的数量TP, 正样本被模型预测为负样本的数量FN, 负样本被模型预测为正样本的数量FP, 以及负样本被模型预测为负样本的数量TN。显然，TP 和TN的数量越高，FN和FP的数量越小，就说明模型预测越好。基于这几个数量值，我们进一步总结出得出下面的几个不同的评价指标：

• 精确率