python 混淆矩阵 画图_模型评估知识点总结及Python实现

目录

1.概述

2.分类评估——混淆矩阵

3.分类评估——ROC、AUC、提升图与KS图

4.回归评估

5.非监督评估

正文

1.概述

数据集输入到一个模型中，然后再进行输出，我们可以得到模型的输出结果。但是结果该如何评价，到底好不好，好的理由是什么，不好的理由又是什么，这些就是本文将介绍的内容——模型结果评估。

本文主要介绍以下几个方面的内容，对应不同类型的模型，包括分类模型评估、回归模型评估、聚类模型评估、关联模型评估四个方面。如下图：

2.分类评估——混淆矩阵

（1）概念

分类模型评估中我们先来看二分类模型的评估。

二分类，顾名思义，就是标注分类只有两类的分类。二分类在我们的挖掘任务中是非常常见的，我们一般把二分类的一个类叫做二分类任务中的正类，用

来表示；另一类，我们叫做二分类中负类，用

表示。

一般来说，正类是我们相对来说更加关注的类。比如员工近期离职了，我们就可以把这样的样本叫做正类。 再比如，从一些店铺里挖掘出存在刷单现象的店铺，那么存在刷单行为的店铺就是我们更关注的分类，即正类，对应正常的店铺不存在刷单就是负类；还比如，一个游戏App存在一些有外挂的用户及作弊用户，那么对于我们的挖掘任务来讲，真正的作弊用户就是我们关注的用户，他们也就是我们关注的正类，而非作弊的正常用户就是我们的负类。

所以，如果拿我们的测试集数据来说，得到的真实数据的标注就会是类似下图这样的，这里面只有

和

，其中

代表正类，

代表负类。

如果数据经过了一个模型的计算，我们可以得到该模型下的输出，它也是仅包含

和

的。我们的目的是比较这个 Y_pred 的结果和真实值 Y_test 。如下图：

当然有的时候

和

不是直接得到的，而是我们得到了一个数据再经过模型输出后被划分为正类的概率，

比如下图，这里代表着它为正类的概率。

所以上图如果Y_pred这个概率接近于

，那么他应该被判为负类。那如果得到的是概率值， 有的时候我们也需要确定一个阈值，我们 大于这个阈值分类结果将被判为正类，而小于这个阈值分类结果将被判为负类。当然一般情况下，我们会取

这个比较均衡、客观的阈值，但如果我们更加关注正负判别的质量，那么这个阈值就有可能比

高，也有可能比

低一些。

当然，这个就是后话了，如果我们把测试集的真实分类和经过模型预测后最终的判别结果进行整理（注意，我们用到的数据是测试集）。这样的话，把这些结果进行整理，会得到四种映射关系，这四种映射关系分别为：

如上图，

第一类是真实值为正类，预测值也为正类的映射。简称TP中，第一个字母是真实类别的情况，这里为T代表True，含义是真实为正类；第二个字母指的是预测的类别，这里P代表positive，代表是预测的类别为正类。合起来意思是真的正类，也就是说，它本来是正类，后来被判别为了正类。

第二类是真实值为正类，预测值为负类，简称FN。这种情况下我们也把它叫做漏分类。漏就是遗漏的漏。

第三类是真实值为正类，预测值为负类，简称FP。此时对于我们更关注的正样本，它被错分类注意刚才是漏分，这里是错分。

第四类是真实为负类，预测也为负类，简称FN。

如果我们把所有的测试集的样本的这四类映射都数出来，也就是数出单个数量，并且整理好组成一个矩阵的形式，就是分类模型中最常用到的混淆矩阵。这个矩阵每一行代表一个真实分类，每一列列代表一个预测分类。详见下图：

理论上来说，我们