机器学习之模型评估

模型评估

数据挖掘操作流程的倒数第二步：模型评估

在每次训练一个模型之后，尤其是现在的深度模型，通常要消耗大量的时间等待模型的产出，那种心情是可想而知的，谁都希望能够有一个好的结果。模型评估就是对你的模型进行多种维度的评估，来确认你的模型是否可以放到线上去使用。

假设我们训练了一个 “识别图片是不是关于小猪” 的分类模型，这是一个二分类器，当你给它一张图片的时候，它会告诉你这是一张小猪的图片，或者不是一张小猪的图片。我们有 1000 张图片用于测试该模
型的效果，并且预先已经进行了人工的标注（这里假设人工标注的数据都是 100% 正确），每张图都会标注是或者不是小猪的图片，假设有 800 张标注“是”，200 张标注“否”

一、评估指标

1、混肴矩阵与准确率指标

确率相关指标是在模型评估时最受关注的指标，它可以直接反映一个模型对于样本数据的学习情况，是一种标准化的检验。就像老师教给你 10 道计算题，然后又用这 10 道题来出考题，如果你都答对了，说明你已经学会了。准确率相关的指标就反映了这样一种结果，下面看看模型学习的直接效果。

我们把这 1000 张图放进分类器进行分类计算，每张图都会得到一个预测结果，通过对预测结果的统计可以知道，被模型预测为 “是” 的图片有 770 张，被模型预测为 “否” 的图片有 230 张。这个时候每张图上会有两个结果：一个人工标注结果、一个模型预测结果。根据这两个数据的统计，可以得到一个混淆矩阵：