Machine Learning A-Z学习笔记12-分类模型性能评级及选择

Machine Learning A-Z学习笔记12-分类模型性能评级及选择

1.简单原理

一般认为假阴性比假阳性更严重，如核酸检测

用混淆矩阵表示如下图

准确率驳论(Accuracy Paradox)。我们可以看到上述例子，我们拟合后发现准确率达98%，但是可以如果让模型一律回答0的話，准确率可以提升到98.5%。可以看出混淆矩阵对这种情况并不适用。

累积准确性（cumulative accuracy profile，CAP），一个比混淆矩阵更客观判定分类模型优劣的指标

---

CAP曲线(Cumulative Accuracy Profile)/Power Curve(准确率/AR)是描述整个评级结果下，购买客户比例与累计客户比例的关系。

在完美的模型下，CAP曲线是一条斜率为1/购买率的直线。而且上升并停留在1，反之，在完全没有区分能力的情况下，模型的CAP曲线是一条45度的直线，而AR值的定义为：模型CAP曲线与45度曲线之间的区域，与介于45度线和完美模型的区域比率

當然還有一個曲線叫做水晶球(Crystal Ball)，我們可以發現當我們拜訪10%的客戶(1萬)時，我們的業績就已經達標了.

注意： ROC的全称是“受试者工作特征”（Receiver Operating Characteristic）曲线，首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域，用来评判分类、检测结果的好坏。与CAP不同。

我们先计算理想曲线与蓝线之间的面积aP

然后计算红线与蓝线之间的面积aR

然後我們可以得到準確率AR，其值正常是落在0~1之間，一些标准的判断如下。