本文探讨了在机器学习，特别是逻辑回归模型中，如何评价模型对真实概率的拟合程度。除了常用的AUC指标，作者介绍了MSE（均方误差）和NRIG（归一化相对信息增益）作为补充评价方法。NRIG是RIG的归一化版本，通过计算模型预测概率与整体CTR的相对信息增益，评估模型质量。提供的Python测试代码展示了NRIG的计算过程。
by wangben 2015.11
在工业界，逻辑回归是很常用的模型，一般大家在用逻辑回归做机器学习排序或者广告预估时常用AUC来判断排序的效果，逻辑回归是概率模型，除了排序的指标之外，有时会出现AUC比较好，但是概率拟合较差（很有可能是收敛的不好），在广告GSP（Generalized second-price auction）竞价模式中尤为重要，所以我们还希望验证模型对真实概率的拟合程度，这时就需要其他指标来衡量。
最常见的方式是MSE（Mean Square Error）：
这个方式需要先收集一部分充分统计量的item，给出其统计CTR并且与模型给出的pCTR（predict ctr）进行比较，判断拟合程度：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
