逻辑回归中的连续特征为什么要离散化处理？

LR面试题:

特征处理

LR并行化

 

特征处理

1.知乎上的一个问题:

https://www.zhihu.com/question/31989952

连续特征的离散化：在什么情况下将连续的特征离散化之后可以获得更好的效果？

题主机器学习大白一个。。最近刚接触CTR预估，发现CTR预估一般都是用LR，而且特征都是离散的。为什么一定要用离散特征呢？这样做的好处在哪里？求大拿们解答～
 

第一种解释:

在工业界，很少直接将连续值作为逻辑回归模型的特征输入，而是将连续特征离散化为一系列0、1特征交给逻辑回归模型，这样做的优势有以下几点：

0. 离散特征的增加和减少都很容易，易于模型的快速迭代；

1. 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；

2. 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰；

3. 逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；

4. 离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；

5. 特征离散化后，模型会更稳定，比如如果对用户年龄离散化，20-30作为一个区间，不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反，所以怎么划分区间是门学问；

6. 特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。

 

李沐曾经说过：模型是使用离散特征还是连续特征，其实是一个“海量离散特征+简单模型” 同 “少量连续特征+复杂模型”的权衡。既可以离散化用线性模型，也可以用连续特征加深度学习。就看是喜欢折腾特征还是折腾模型了。通常来说，前者容易，而且可以n个人一起并行做，有成功经验；后者目前看很赞，能走多远还须拭目以待。

评论理解:

. 假设目前有两个连续的特征：『年龄』和『收入』，预测用户的『魅力指数』；

1. 关于第三点指出，LR是广义线性模型，因此如果特征『年龄』不做离散化直接输入，那么只能得到『年龄』和魅力指数的一个线性关系。但是这种线性关系是不准确的，并非年龄越大魅力指一定越大；如果将年龄划分为M段，则可以针对每段有一个对应的权重；这种分段的能力为模型带来类似『折线』的能力，也就是所谓的非线性
2. 连续变量的划分，naive的可以通过人为先验知识划分，也可以通过训练单特征的决策树桩，根据Information Gain/Gini系数等来有监督的划分。
3. 假如『年龄』离散化后，共有N段，『收入』离散化后有M段；此时这两个离散化后的特征类似于CategoryFeature，对他们进行OneHotEncode，即可以得到 M + N的 01向量；例如： 0 1 0 0， 1 0 0 0 0；
4. 第四点中的特征交叉，可以理解为上述两个向量的互相作用，作用的方式可以例如是 &和|操作（这种交叉方式可以产生一个 M * N的01向量；）
5. 上面特征交叉，可以类比于决策树的决策过程。例如进行&操作后，得到一个1，则可以认为产生一个特征 （a < age < b && c < income < d）;将特征空间进行的非线性划分，也就是所谓的引入非线性；

第二种举例解释:

自己的感悟:

感觉第二种解释有点像CART做回归。

特征交叉

这个博客介绍的比较好。

https://blog.csdn.net/ccblogger/article/details/80180892

一．互联网广告特征工程

博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统，可以看到，其中的logistic regression模型是比较简单而且实用的，其训练方法虽然有多种，但目标是一致的，训练结果对效果的影响是比较大，但是训练方法本身，对效果的影响却不是决定性的，因为训练的是每个特征的权重，权重细微的差别不会引起ctr的巨大变化。
在训练方法确定后，对ctr预估起到决定性作用的是选用的特征。

 

1.1特征选择与使用

做点击率预估需要两方面的数据，一方面是广告的数据，另一方面是用户的数据，现在所有的数据都有，那么工作就是利用这两方面的数据评估用户点击这个广告的可能性（也就是概率）。
用户的特征是比较多的，用户的年龄，性别，地域，职业，学校，手机平台等等。广告的特征也很丰富，如广告大小，广告文本，广告所属行业，广告图片。还有反馈特征，如每个广告的实时ctr，广告跟性别交叉的ctr。如何从这么多的特征中选择到能刻画一个人对一个广告的兴趣的特征，是数据挖掘工程师的一个大难题。
选中了特征，还需要注意特征的选择方式，例如，如果单独把年龄作为一个特征，最终能训练出来啥吗？因为年龄相加相减是没有意义的，所以只能把每个年龄做为一个特征，但是光这样可以了吗？怎么用特征，是广告算法工程师的一个大课题。

1.1.1 选择特征

     什么样的特征适合用来预估ctr？这个问题是很多广告算法工程师的需要考虑的。
     机器学习算法最多会大谈模型，对于特征的讨论很少涉及。真正的应用中，多数数据挖掘工程师的工作都是在想特征，验证特征。
     想特征是一个脑力加体力的活，需要不少的领域的知识，更让人郁闷的是，工业界并没有一整套想特征的