特征性能评估指标-----Information Value

参考链接:http://ucanalytics.com/blogs/information-value-and-weight-of-evidencebanking-case/

IV值与特征重要性的参考表
+--------------------+-------------------------+
|      iv_range      |          desc           |
+--------------------+-------------------------+
|        < 0.02      |  useless for prediction |
|      0.02 ~ 0.1    |      weak predictor     |
|      0.1 ~ 0.3     |      medium predictor   |
|      0.3 ~ 0.5     |      strong predictor   |
|        > 0.5       |        suspicious       |
+--------------------+-------------------------+

IV值衡量了某个特征对目标的影响程度，其基本思想是根据该特征所命中黑白样本的比率与总黑白样本的比率，来对比和计算其关联程度.因为计算过程中用的是命中黑白样本各自的比例，所以在工程实践中，一定程度上规避了黑白样本数的不同选择所带来的偏差.具体地,IV值的计算公式如下:

                

其中, DistributionGood_i = good(i)/good(T), DistributionBad_i = bad(i)/bad(T).这里good(i)是分组i中正类样本(白样本)的个数,bad(i)是分组i中负类样本(黑样本)的个数.

Example:很多场景都会以年龄和性别作为重要特征来刻画用户,假定从某银行得到如下的一张表:

可以看出在不同的age分组范围中, age对于36-48的分组辨别能力不强,但总体而言,age是一个很好的特征.