特征工程——归一化处理不适用情况

哪些机器学习算法不需要做归一化(Normalization)处理?

• 概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、随机森林rf。而像AdaBoost、svm、Ir、KNN、KMeans之类的最优化问题就需要归一化。

对于树形结构为什么不需要归一化?

• 数值缩放，不影响分裂点位置。因为第一步都是按照特征值进行排序的，排序的顺序不变，那么所属的分支以及分裂点就不会有不同。对于线性模型，比如说LR，我有两个特征，一个是(01)的，一个是(010000)的，这样运用梯度下降时候，损失等高线是一个椭圆的形状，这样我想迭代到最优点，就需要很多次迭代，但是如果进行了归一化，那么等高线就是圆形的，那么SGD就会往原点迭代，需要的选代次数较少。另外，注意树模型是不能进行梯度下降的，因为树模型是阶跃的，阶跃点是不可导的，并且求导没意义，所以树模型(回归树)寻找最优点是通过寻找最优分裂点完成的从而不需要数据归一化