科普｜一网打尽常用的机器学习的评价指标（附应用实例）

网址:http://www.toutiao.com/i6400587715754066434/?tt_from=weixin_moments&utm_campaign=client_share&from=timeline&app=news_article&utm_source=weixin_moments&iid=8721486139&utm_medium=toutiao_android&winzoom=1&wxshare_count=2&pbid=56540037981

准确率、召回率与F1值

准确率 = 正确识别的个体总数 / 识别出的个体总数 ；

召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 ；

F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) ；

例子

某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。S撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：

准确率 = 700 / (700 + 200 + 100) = 70%

召回率 = 700 / 1400 = 50%

F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看如果S把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化：

准确率 = 1400 / (1400 + 300 + 300) = 70%

召回率 = 1400 / 1400 = 100%

F值 = 70% * 100% * 2 / (70% + 100%) = 82.35%

由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。

ROC

下面内容引自知乎@金戈戈，https://www.zhihu.com/question/30643044/answer/48955833

ROC（receiver operating characteristic curve）是曲线。也就是下图中的曲线。同时我们也看里面也上了AUC也就是是面积。一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting（比如图中0.2到0.4可能就有问题，但是样本太少了），这个时候调模型可以只看AUC，面积越大一般认为模型越好。

ROC曲线

PRC

PRC， precision recall curve。和ROC一样，先看平滑不平滑（蓝线明显好些），在看谁上谁下（同一测试集上），一般来说，上面的比下面的好（绿线比红线好）。F1（计算公式略）当P和R接近就也越大，一般会画连接(0,0)和(1,1)的线，线和PRC重合的地方的F1是这条线最大的F1（光滑的情况下），此时的F1对于PRC就好象AUC对于ROC一样。一个数字比一条线更方便调模型。

PRC曲线

以上两个指标用来判断模型好坏，图有些不恰当。。。但是有时候模型没有单纯的谁比谁好（比如图二的蓝线和青线），那么选择模型还是要结合具体的使用场景。

两个场景

1. 地震的预测

对于地震的预测，我们希望的是RECALL非常高，也就是说每次地震我们都希望预测出来。这个时候我们可以牺牲PRECISION。情愿发出1000次警报，把10次地震都预测正确了；也不要预测100次对了8次漏了两次。

2. 嫌疑人定罪

基于不错怪一个好人的原则，对于嫌疑人的定罪我们希望是非常准确的。及时有时候放过了一些罪犯（recall低），但也是值得的。

对于分类器来说，本质上是给一个概率，此时，我们再选择一个CUTOFF点（阀值），高于这个点的判正，低于的判负。那么这个点的选择就需要结合你的具体场景去选择。反过来，场景会决定训练模型时的标准，比如第一个场景中，我们就只看RECALL=99.9999%（地震全中）时的PRECISION，其他指标就变得没有了意义。

如果只能选一个指标的话，肯定是选PRC了。可以把一个模型看的一清二楚。