机器学习评价方法之NRIG

by wangben 2015.11

在工业界，逻辑回归是很常用的模型，一般大家在用逻辑回归做机器学习排序或者广告预估时常用AUC来判断排序的效果，逻辑回归是概率模型，除了排序的指标之外，有时会出现AUC比较好，但是概率拟合较差（很有可能是收敛的不好），在广告GSP（Generalized second-price auction）竞价模式中尤为重要，所以我们还希望验证模型对真实概率的拟合程度，这时就需要其他指标来衡量。

最常见的方式是MSE（Mean Square Error）：

这个方式需要先收集一部分充分统计量的item，给出其统计CTR并且与模型给出的pCTR（predict ctr）进行比较，判断拟合程度：