模型效果评价—混淆矩阵（原理及Python实现）

  对于分类模型，在建立好模型后，我们想对模型进行评价，常见的指标有混淆矩阵、KS曲线、ROC曲线、AUC面积等。也可以自己定义函数，把模型结果分割成n(100)份，计算top1的准确率、覆盖率。
  
  本文详细阐述混淆矩阵的原理和Python实现实例，其它指标会在后续文章中详尽阐述，敬请期待。
  

  

一、什么是混淆矩阵

  

  混淆矩阵是用于评价分类模型效果的NxN矩阵，其中N是目标类别的数目。矩阵将实际类别和模型预测类别进行比较，评价模型的预测效果。比如样本的实际类别是狗，若模型预测类别也是狗，则说明对于该样本模型预测对了。若模型预测类别为猫，则说明对于该样本模型预测错了。对全部样本数据进行统计，可以判断模型预测对了的样本数量和预测错了的样本数量，从而可以衡量模型的预测效果。
  
  

二、混淆矩阵有关的三级指标

  

1 一级指标

  
  以分类模型中最简单的二分类为例。假如我们有一批顾客是否买某种产品的样本数据，顾客买了产品我们标记为positive，没买标记为negative。现在通过分类模型训练这批样本，根据模型结果可以知道模型认为哪些顾客会买(预测的positive)，哪些顾客不会买(预测的negative)。因此我们可以得到以下四个一级指标：
  

1. TP(True Positive)：真实值是positive，模型认为