COPC评估

AUC表示正样本排在负样本前的排序能力，但对于pctr与实际ctr的偏差却不敏感。

copc指标主要用于评估某段细分的流量模型预估值是否偏差较大。
$$copc=(realctr)/pctr$$

如果你发现auc上升，点击率却不上升，请优先排查bug。在确定没有bug的情况下，再看下文吧。

考察带条件的 copc。

分析办法：把 rank 分数分成若干区间，每个区间统计真实的 ctr，更进一步，可以拆分成多个桶，比如按照某个特征拆分成 A，B 两组，单独统计每组的真实 ctr。

rank 分数单调递增，ctr 没有单调递增：这个原因多半是你线上线下分布不一致导致的，道理很简单，如果你的 rank 真的拟合好了分布，没理由高分数区间段的 ctr 会低于低分数区间。这个不一致，有可能是你特征没做好线上线下的统一，也有可能是你模型没拟合好线上的分布。总之这种情况，你先别急着加特征，先把线上线下特征梳理一下，看看分布是否一致，或者模型训练是不是有问题。

rank 分数单调递增，ctr 单调递增，但是增长非常慢:比如说 0.9-1.0 区间的 ctr 仅仅比 0.3-0.4 区间的 ctr 高一丁点。这个原因才是你模型缺特征，尤其是缺乏活跃用户的特征，通常活跃用户，系统 rank 为了指标，会使用很重的行为画像作为特征，很容易放大历史点击记录，更加倾向于把他们排上去，如果你高估了该用户的点击倾向，就会导致分数给的很高，但是现实用户不怎么点的现象

这个也会触发新的问题，也就是常说的离线 AUC 很高，但是线上没效果，道理都一样，你模型仅仅是把正负样本的间隔拉开了，并没有真正改善用户看到的内容和布局，才导致高分段 ctr 不见增长。

rank 分数单调递增，ctr 也单调递增，但是 A，B 两组的 ctr 比值差异过大：
比如 A，B 表示上午和下午，如果这两个时间段，同一个分数区间的 ctr 差异过大，说明模型对时间这个维度的建模不足，需要进一步改善。

rank 分数单调递增，ctr 单调递增，各种维度分组下的 ctr 比值也接**稳：
恭喜你，到达这一步，表示你 rank 几乎没事情可做了，你剩下要做就是优化召回，在策略上引导你 rank 往新的产品思路上走，在更加高的层面带动系统往良性地方发展。

咫片炫计算广告(8)-------AUC和COPC, 线上指标和线下指标各种问题
推荐系统实用分析技巧
ctr预估中的评估指标及校准