分箱逻辑:
1.类别型特征:
- 1)类别数在5个以下,可以直接根据类别来分箱 (binning_cate)
- 2)类别数在5个以上,建议做降基处理,再根据降基后的类别做分箱
2.数值型特征:
- 1)离散型数值特征(特征value的变动幅度较小):
若特征value的非重复计数在5个以下,可以直接根据非重复计数值来分箱(binning_cate)
若特征value的非重复计数在5个以上,建议根据业务解释或者数据分布做自定义分箱(binning_self) - 2)连续型数值特征(特征value的变动幅度较大):
可以用卡方分箱或自定义分箱。(binning_num,binning_self)
PS:一些特征用卡方分可能会报错,建议这些特征改为手动自定义分箱
3.缺失型特征:
- 1)缺失率在5%以下,可以先对缺失做填充处理再分箱(binning_num)
- 2)缺失率在5%以上,建议将缺失当作一个类别来分箱(binning_sparse_col)
4.稀疏型特征分箱
- 建议将稀疏值(一般为0)单独分为一箱,剩下的值做卡方或者自定义分箱(binning_sparse_col)
离散的优势:
- (1)离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0。如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰;
- (2)逻辑回归属于广义线性模型,表达能力受限,单变量离散化为N个后,每个变量有单独的权重,相当于为模型引入了非线性,能够提升模型表达能力,加大拟合;
- (3)离散化后可以进行特征交叉,由M+N个变量变为M*N个变量,进一步引入非线性,提升表达能力;
- (4)可以将缺失作为独立的一类带入模型;
- (5)将所有变量变换到相似的尺度上。
分箱方法
关于变量分箱主要分为两大类:有监督型和无监督型
- 无监督:(1) 等宽 (2) 等频 (3) 聚类
- 有监督: