从N个二分类模型出来的分数是不可比的,因为模型分数并不能完全刻画实际概率(以逻辑回归算法为例,只有当y服从伯努利分布,逻辑回归的得分值才有可能为实际的概率值,但现实中,很难如此,具体可以参考https://www.jianshu.com/p/a8d6b40da0cf?utm_campaign=haruki&utm_content=note&utm_medium=reader_share&utm_source=weixin)
解决这问题可以用以下方法:
1、放弃N个二分类模型,用一个模型来解决N分类的问题,如树模型或CTR模型等
2、将N个模型产生的分数作为输入到一个模型中,这种思路像stacking的思路。
3、将模型预测的分数进行分段,可以尝试等距或者等分,制作映射表,将模型的分数段与实际的点击率进行映射;这样就得到模型分数对应实际概率,进而做到N个模型的可比