什么是特征工程
- 特征工程一方面是在EDA后对特征进一步处理分析，并根据已有特征结合先验知识构造可能对问题有帮助的特征。
- 另一方面是在已有特征中选择，挑选出有代求问题关系紧密的特征，达到拟合的准确率与鲁棒性的均衡。
特征处理
异常值清洗
在EDA中我们已经完成了对数据缺少，类型异常的处理。但为了进一步提高拟合的准确性，还可以对数据outlayer的部分进行处理。
线框图去异常
线框图是处理离群数值的有效方法。
def outliers_proc(data, col_name, scale=3):
"""
用于清洗异常值，默认用 box_plot（scale=3）进行清洗
:param data: 接收 pandas 数据格式
:param col_name: pandas 列名
:param scale: 尺度
:return:
"""
def box_plot_outliers(data_ser, box_scale):
"""
利用箱线图去除异常值
:param data_ser: 接收 pandas.Series 数据格式
:param box_scale: 箱线图尺度，
:return:
"""
iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))
val_low = data_ser.quantile(0.25) - iqr
val_up = data_ser.quantile(0.75) + iqr
rule_low = (data_ser < val_low)
rule_up = (data_ser > val_up)
return (rule_low, rule_up), (val_low, val_up)
data_n = data.copy()
data_series = data_n[col_name]
rule, value = box_plot_outliers(data_series, box_scale=scale)
index = np.arange(data_series.shape[0])[rule[0] | rule[1]]
print("Delete number is: {}".format(len(index)))
data_n = data_n.drop(index)
data_n.reset_index(drop=True, inplace=True)
print("Now column number is: {}".format(data_n.shape[0]))
index_low = np.arange(data_series.shape[0])[rule[0]]
outliers = data_series.iloc[index_low]
print("Description of data less than the lower bound is:")
print(pd.Series(outliers).describe())
index_up = np.arange(data_series.shape[0])[rule[1]]
outliers = data_series.iloc[index_up]
print("Description of data larger than the upper bound is:")
print(pd.Series(outliers).describe())
fig, ax = plt.subplots(1, 2, figsize=(10, 7))
sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])
sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])
return data_n
train = outliers_proc(train, 'power', scale=3)
Delete number is: 963
Now column number is: 149037
Description of data less than the lower bound is:
count 0.0
mean NaN
std NaN
min NaN
25% NaN
50% NaN
75% NaN
max NaN
Name: power, dtype: float64
Description of data larger than the upper bound is:
count 963.000000
mean 846.836968
std 1929.418081
min 376.000000
25% 400.000000
50% 436.000000
75% 514.000000
max 19312.000000
Name: power, dtype: float64
长尾分布截断
观察power的数据
data['power'].plot.hist()
有在很大范围内数据频率很小，这时可以直接截断，将超过阈值的部分修改为阈值。
数据分桶
数据分桶就是将数据按一定范围化为，使用范围代替具体的值。
进行数据分桶的原因有很多
- 离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展；
- 离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰；
- 特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化
bin = [i*10 for i in range(31)]
data['power_bin'] = pd.cut(data['power'], bin, labels=False)
data[['power_bin', 'power']].head()
数据归一化
对于一些有实际意义的特征，可以根据先验知识，结合数据的峰度与偏度处理
train['power'].plot.hist()
可以使用log变化然后做归一化，将其近似转化到标准正态分布
from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
data['power'] = np.log(data['power'] + 1)
data['power'] = ((data['power'] - np.min(data['power'])) / (np.max(data['power']) - np.min(data['power'])))
data['power'].plot.hist()
类别特征OneEncoder
LR模型无法直接处理类别特征，可以使用OneEncoder的方式将类别转化为一组多维的01编码，供回归使用，这样做的好处有：
- LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合；
- 离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量编程 M*N 个变量，进一步引入非线形，提升了表达能力；
data = pd.get_dummies(data, columns=['model', 'brand', 'bodyType', 'fuelType','city',
'gearbox', 'notRepairedDamage', 'power_bin'])
最终数据的维数为很高
print(data.shape)
data.columns
(199037, 377)
Index(['name', 'power', 'kilometer', 'seller', 'offerType', 'price', 'v_0',
'v_1', 'v_2', 'v_3',
...
'power_bin_20.0', 'power_bin_21.0', 'power_bin_22.0', 'power_bin_23.0',
'power_bin_24.0', 'power_bin_25.0', 'power_bin_26.0', 'power_bin_27.0',
'power_bin_28.0', 'power_bin_29.0'],
dtype='object', length=377)
构造新的特征
一方面可以根据先验知识构造有意义的特征，比如我们知道二手车的价格一般和车的使用时间成反比，所以可以根据车辆购入日期和卖出日期构造特征车辆使用时间
# 使用时间：data['creatDate'] - data['regDate']，反应汽车使用时间，一般来说价格与使用时间成反比
# 不过要注意，数据里有时间出错的格式，所以我们需要 errors='coerce'
data['used_time'] = (pd.to_datetime(data['creatDate'], format='%Y%m%d', errors='coerce') -
pd.to_datetime(data['regDate'], format='%Y%m%d', errors='coerce')).dt.days
# 看一下空数据，有 15k 个样本的时间是有问题的，我们可以选择删除，也可以选择放着。
# 但是这里不建议删除，因为删除缺失数据占总样本量过大，7.5%
# 我们可以先放着，因为如果我们 XGBoost 之类的决策树，其本身就能处理缺失值，所以可以不用管；
data['used_time'].isnull().sum()
15072
再者由邮编提取城市信息
# 从邮编中提取城市信息，因为是德国的数据，所以参考德国的邮编，相当于加入了先验知识
data['city'] = data['regionCode'].apply(lambda x : str(x)[:-3])
还可以根据一类数据的统计特征量(平均值、最大最小值、方差等)构造新的特征。
# 计算某品牌的销售统计量，同学们还可以计算其他特征的统计量
# 这里要以 train 的数据计算统计量
train_gb = train.groupby("brand")
all_info = {}
for kind, kind_data in train_gb:
info = {}
kind_data = kind_data[kind_data['price'] > 0]
info['brand_amount'] = len(kind_data)
info['brand_price_max'] = kind_data.price.max()
info['brand_price_median'] = kind_data.price.median()
info['brand_price_min'] = kind_data.price.min()
info['brand_price_sum'] = kind_data.price.sum()
info['brand_price_std'] = kind_data.price.std()
info['brand_price_average'] = round(kind_data.price.sum() / (len(kind_data) + 1), 2)
all_info[kind] = info
brand_fe = pd.DataFrame(all_info).T.reset_index().rename(columns={"index": "brand"})
data = data.merge(brand_fe, how='left', on='brand')
这里就根据车辆的城市分类，构造了每个城市的价格均值、中值等特征。
特征选择
最终我们得到了一个特征数据很大的数据
print(data.shape)
data.columns
(199037, 377)
Index(['name', 'power', 'kilometer', 'seller', 'offerType', 'price', 'v_0',
'v_1', 'v_2', 'v_3',
...
'power_bin_20.0', 'power_bin_21.0', 'power_bin_22.0', 'power_bin_23.0',
'power_bin_24.0', 'power_bin_25.0', 'power_bin_26.0', 'power_bin_27.0',
'power_bin_28.0', 'power_bin_29.0'],
dtype='object', length=377)
在实际使用中这些数据里面可能存在相关性差，冗余等的特征，我们不会全部使用，这时就需要挑选出合适的特征。
过滤式
相关性分析是反映特征与预测值之间关系的一个表征量
# 相关性分析
print(data['power'].corr(data['price'], method='spearman'))
print(data['kilometer'].corr(data['price'], method='spearman'))
print(data['brand_amount'].corr(data['price'], method='spearman'))
print(data['brand_price_average'].corr(data['price'], method='spearman'))
print(data['brand_price_max'].corr(data['price'], method='spearman'))
print(data['brand_price_median'].corr(data['price'], method='spearman'))
0.5728285196051496
-0.4082569701616764
0.058156610025581514
0.3834909576057687
0.259066833880992
0.38691042393409447
# 当然也可以直接看图
data_numeric = data[['power', 'kilometer', 'brand_amount', 'brand_price_average',
'brand_price_max', 'brand_price_median']]
correlation = data_numeric.corr()
f , ax = plt.subplots(figsize = (7, 7))
plt.title('Correlation of Numeric Features with Price',y=1,size=16)
sns.heatmap(correlation,square = True, vmax=0.8)
一般情况下我们优先选择绝对值的大特征，大于零表明正相关，小于零表面负相关，这两者都是我们想要的。
包裹式
这里可以使用库mlxtend来做测试，它的方法是不断贪心的将特征加入模型，是特征数目增加，直到指定的特征数。
from mlxtend.feature_selection import SequentialFeatureSelector as SFS
from sklearn.linear_model import LinearRegression
sfs = SFS(LinearRegression(),
k_features=30,
forward=True,
floating=False,
scoring = 'r2',
cv = 0)
x = data[data['train']==1].drop(['price'], axis=1)
x = x.fillna(0)
y = data[data['train']==1]['price']
sfs.fit(x, y)
sfs.k_feature_names_
('kilometer',
'v_0',
'v_3',
'v_7',
'v_14',
'used_time',
'brand_price_std',
'brand_price_average',
'model_44.0',
'model_104.0',
'model_105.0',
'model_113.0',
'model_145.0',
'model_167.0',
'model_175.0',
'model_218.0',
'brand_16',
'brand_24',
'bodyType_6.0',
'gearbox_1.0',
'power_bin_4.0',
'power_bin_6.0',
'power_bin_10.0',
'power_bin_18.0',
'power_bin_20.0',
'power_bin_23.0',
'power_bin_24.0',
'power_bin_25.0',
'power_bin_26.0',
'power_bin_27.0')
# 画出来，可以看到边际效益
from mlxtend.plotting import plot_sequential_feature_selection as plot_sfs
import matplotlib.pyplot as plt
fig1 = plot_sfs(sfs.get_metric_dict(), kind='std_dev')
plt.grid()
plt.show()
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
