1.特征工程目的
特征工程是数据分析中最耗时间和精力的一部分工作。数据和特征决定了机器学习的上限,而模型和算法则是逼近这个上限。因此,特征工程就变得尤为重要了。特征工程的主要工作就是对特征的处理,包括数据预处理,特征选择,甚至降维技术等跟特征有关的工作。
- 主要内容
2.1 数据预处理
缺失值的填充(掌握数据类型,数据类型转换,填充方法等)
异常值的处理(3segama原则、箱型图、小提琴图等)
数据分箱(固定宽度分箱,分位数分箱,卡方分享等)
缺失值填充
指定值填充(-1,999,0等)
向上或向下填充
用众数填充或者中位数等统计量进行填充
2.2 类别特征编码
哑变量编码——pd.get_dummies()函数
labelEncode——LabelEncoder()函数
onehot编码——OneHotEncoder()函数
等等
2.3 特征选择
filter
wrapper
embedded