本文探讨了数据预处理的重要性，包括数据抽样、规模分析、缺失值与异常值处理等，并介绍了特征选择的方法，如衍生变量生成、变量分布改善、数据标准化、相关性筛选及利用建模算法自身进行特征选择。
数据抽取要正确反映业务需求
数据抽样
分析数据的规模有哪些具体要求
如果处理缺失值和异常值
数据转换：生成衍生变量（指标）；改善变量分布的转换（取对数等）；分箱转换；数据标准化（min-max标准化：x* = (x-min)/（max-min））；
筛选有效的输入变量：根据业务先行筛选；根据相关性指标初步筛选（皮尔逊相关系数r）；R平方（多元线性回归分析方法）筛选；卡方检验确定自变量与目标变量之间有比较强的关联性；IV和WOE（通过WOE的变化调整出最佳的分箱阈值，通过IV值或Gini分数筛选出较高预测价值的自变量）；建模算法自身的筛选功能（决策树、回归）；
共线性问题的发现（相关系数、主成分分析等）与处理；
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
