2017.06.02回顾 模型评价的正确方法

1、决策引擎调整

2、做了现在模型和上版模型的比较，令人意外的是上版模型在目前的放款客户中有非常好的rank order，这就尴尬了，那毕竟是我抠脚建的模型，居然在现有模型的通过域中有这么好的划分，但是问题来了，我感觉到，如果把此模型用于全部样本，可能区隔并没有这么好，因为这个模型当初12月、1月也使用过并没有逆天的效果，略微好于现在，难道要把这两个模型ensemble起来？直接ensemble通过率会非常非常低，但是对于坏账却比较有信心，直接ensemble实际应用肯定是不行的。那话说回来如何去评价上一版模型呢？一种理想的情况，进行AB测试，直接看逾期情况；看区隔度的话，两个模型通过的都进行等分，不是就可以看区隔度吗？比如A模型放grade ABC，另一个B模型放grade AB，后来看区隔度就是ABC坏账，AB坏账，这种怎么看呢？找一个量化的评价指标，比如我仍然可以用IV啊，这是不等分的方式，如果等分呢？等分也可以啊！

但是现在回过头来比较当前模型和上一版模型就存在一个问题，当前模型可以通过的等分看，或者就实际grade看，但是上一版模型就只能在通过的人里面来看，而不是上一版模型自己通过的人，这种比较方式只能说明两个模型ensemble很棒，看到上一版的漂亮数据就直接拿来运用，肯定取不到这么好的分化效果，那该如何评测呢？这里就作为问题

3、下午就尝试开始建一个骷髅王2.0，开始做数据抽取，然后IV计算