记录数据挖掘路上遇到的常用特征工程方法和技巧(附代码),方便自己,方便他人,持续更新。
1.哑编码
对某一列数据进行pandas自带的(定性数据哑编码,定量数据二值化),并附上名字
pd.get_dummies(all['MSSubClass'], prefix='MSSubClass')
2.卡方特征选择
从已有的特征中选择出影响目标值最大的特征属性
常用方法:{ 分类:F统计量、卡方系数,互信息mutual_info_classif
{ 连续:皮尔逊相关系数 F统计量 互信息mutual_info_classif
ch2 = SelectKBest(chi2,k=10)
X_train = ch2.fit_transform(X_train, Y_train)
X_test = ch2.transform(X_test)
print(ch2.get_support(indices=True))