weixin_41317362的博客

原创 pyspark实现iv特征筛选

特征筛选和iv值 特征筛选 在实际的工程建模中，有时会引入大量的特征，以便可以从更多角度来刻画特征。但是当特征太多时，难免会引入一些无效特征。无效特征不仅会给模型带来噪音，并且还会增加模型的训练难度。因此在建模之前常常有必要进行一个初步的特征筛选，以便过滤掉那些无用特征。 iv值 iv值全称是information value。通过计算不同特征的iv值，可以来判断不同特征的重要程度...