问题建模之评估指标

在预测问题中，要评估模型的效果，就需要将模型预测结果f(X)和真实标注Y进行比较，因此评估指标定义为f (X)和Y的函数 :score = metric(f(X), Y)
通常，线下使用的是机器学习评估指标，线上使用的是业务指标 。 如果线下指标和线上指标不同，则可能
会出现线下指标变好而线上指标变差的现象。 为此，在一个新问题的开始阶段，都会进行多轮模型迭代，来探索与线上业务指标一致的线下指标，尽可能使线下指标的变化趋势跟线上指标一致。 想判断线下试验是否有效，只能上线实验。 而上线实验成本远高于离线实验成本，通常需要在线实验较长时间并对效果进行可信度检验（如t-test ）之后才能得出结论，这必然会导致模型迭代进度变慢 。
评估指标根据任务类型分类，可分为分类指标、回归指标、聚类指标和排序指标等。 下面将介绍一些常用的评估指标以及它们适用场景。

一、分类指标

1、精确率和召回率、准确率和错误率、F1值

以p为纵轴，R为横轴，绘制PR曲线，越靠近右上角说明模型效果越好，曲线下的面积成为AP分数，但是计算这个分数不方便，因此设计了F1值来综合考虑精确率和召回率。

此外 ，准确率和错误率也是常用的评估指标 。

精确率和准确率是比较容易混淆的两个评估指标，两者是有区别的 。 精确率是一个二分类指标，而准确率能应用于多分类，其计算公式为：

2、ROC与AUC