特征工程在机器学习中扮演着至关重要的角色，包括异常处理、特征归一化、数据分桶、缺失值处理、特征构造、特征筛选和降维等步骤。通过这些方法，可以将原始数据转化为更能反映问题本质的特征，从而提高模型性能。在匿名特征场景下，可以通过统计和变换创建新特征；而在有业务背景的场景中，深入理解业务逻辑能构建更有意义的特征。特征工程虽入门简单，但精通不易，且需要与模型相结合，不断验证和优化。
（一）特征工程目标
对于特征进行进一步分析，并对于数据进行处理。
（二）特征工程内容
1.异常处理：
通过箱线图（或 3-Sigma）分析删除异常值；
BOX-COX 转换（处理有偏分布）；
长尾截断；
2.特征归一化/标准化：
标准化（转换为标准正态分布）；
归一化（抓换到 [0,1] 区间）；
针对幂律分布，可以采用公式： log(1+x1+median)log(1+x1+median)
3.数据分桶：
等频分桶；
等距分桶；
Best-KS 分桶（类似利用基尼指数进行二分类）；
卡方分桶；
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
