大家都知道,对于相同的客群,相同的响应结果情况下,对比两个模型的优劣性,指标有许多。比如总体的准确性,比如AUC、ks、提升度等等。本文以提升度来讲讲,如何有效对比两个模型的优劣性。
在实际使用中,我们为了证明模型是优于当下使用的策略的(以下统称模型),比如使用资产等级来划分客群。将分数划分成跟策略一样的组数,(策略也是有优先级的,分数的等级对标策略的优先级),分析不同模型的目标表现对比。如果单纯看模型每组的响应率,是不对的,第一组(优先级最高)的响应率可以直接比较,但是第二组及以后这样比较是不合理的,因为模型的作用就是将高响应客户往高分组(高优先级组)堆积。所以这种情况下,应该引入累计占比、累计响应率、累计响应占比、累计提升度几个指标来进行比较。
只需要满足以下任意一个条件,即代表模型较优:
1、较小的累计占比,得到相同的或者较高的累计响应占比(或累计响应率),对应的累计提升度肯定也更高;
2、相同的累计占比,得到较高的累计响应占比(或累计响应率),或者得到较高的累计提升度;
3、较高的累计占比,得到较高的累计提升度;
从上面引发两个不严谨的条件:
a、较小的累计占比,即使有较高的提升度也不能说明模型表现较另个模型优;
b、较高的累计占比,较高的累计响应占比(或者累计响应率)也不能说明模型表现较另个模型优;
##########
总结一句话:相同占比看响应、提升度均可,低占比看响应,高占比看提升度。
或者:不管占比多少,累计响应跟累计提升度都高,即可证明模型表现较优。
关于两个模型的对比
于 2021-03-23 15:55:59 首次发布