机器学习模型的评估方法

机器学习分类模型的评估方法

  机器学习模型简单分为回归模型与分类模型，回归模型与分类模型的预测类型一个是连续的变量，一个是离散的变量。这使得评估的方法各有不同。

  对于分类模型判断一个西瓜是不是成熟的，按照机器学习的方法我们需要采集关于西瓜的一系列数据，这些数据比如西瓜的颜色，大小等特征还有每个西瓜是否成熟的标签，然后选择模型，将数据划分为测试集与训练集，利用测试集训练模型。这个时候我们已经得到了一个根据西瓜的颜色、大小等特征预测西瓜是否成熟的模型了。

  为了测试模型的质量，我们将测试集的特征数据输入模型得到一系列的预测值，这些预测值与真实值之间进行比较。我们可以简单的说有多少预测对了，有多少预测错了。预测对了的认为是正确，预测错了就是错误。那我们就对数据进行加工即可得到模型的正确率。正确率=预测正确的样本数/总体的样本数。

  但这样评估模型在样本数据均衡的情况下尚好。如果样本的数据是一个不平衡的数据，比如预测商品点击率，在大多数情况下商品是不会被点击的。假设商品在90%的情况下不会被点击，如果此时的模型是一个不论任何商品，都会预测不会点击的模型。在这样不合理的情况下，我们依然会得到90%的正确率。但这个模型肯定不是我们想要的，因为我们需要的是推荐那些点击率高的商品，但这个模型对任何的商品都是没有意义的。显然我们需要引入其他的评估指标。

  为了解决以上问题，我们引入混淆矩阵的概念，对任何一个二分类的模型预测都可以分为预测为正样本和预测为负样本，真实值同样分为正样本与负样本。考虑到这一点我们可以分别以预测的样本为横轴，真实样本为纵轴。

  预测正例恰好是真实正例的数目是TP，

  预测正例恰好是真实负例的数目是FP，

  预测负例恰好是真实正