Python特征工程之数据预处理

Get_dummies哑变量处理

哑变量也叫虚拟变量，通常取值为0或1。

import pandas as pd

df = pd.DataFrame({'客户编号': [1, 2, 3], '性别': ['男', '女', '男']})
print(df)
df = pd.get_dummies(df, columns=['性别']) # 第1个参数为表格名称，第2个参数为需要处理的列的名称
print(df)
"""虽然现在已经将文本类型的数据转换成了数字，但是“性别_女”和“性别_男”这两列存在多重共线性，
即知道其中一列的内容，就能知道另一列的内容，用公式来表达就是：性别_男＝1-性别_女。"""
df = df.drop(columns='性别_女')
df = df.rename(columns={'性别_男': '性别'})  # 更改列名
print(df)

演示运行图

也可以使用如下代码来依次遍历数据中的列找出描述型的数据，进行哑变量转换。

if str(data[col].dtype) == 'object': # 判断该列是否是字符类型的描述性特征
        dummies_df = pd.get_dummies(data[col], prefix=str(col))
        data = data.drop(col, axis=1)
        data = data.join(dummies_df)

Label Encoding编号处理

LabelEncoder()函数将文本类型的数据转换成数字。

import pandas as pd
from sklearn.preprocessing import LabelEncoder

df = pd.DataFrame({'编号': [1, 2, 3, 4, 5], '城市': ['北京', '上海', '广州', '深圳', '北京']})
print(df)

le = LabelEncoder()
# 将待转化的列传入模型中进行拟合，并将结果赋给变量label
label = le.fit_transform(df['城市']) 
print(label)
df['城市'] = label
print(df)

原始数据内容

LabelEncoder()函数编码以后的数据内容

上述示例中使用Label Encoding处理后产生了一个奇怪的现象：上海和广州的平均值是北京，这个现象其实是没有现实意义的，这也是Label Encoding的一个缺点——可能会产生一些没有意义的关系。不过树模型（如决策树、随机森林及XGBoost等集成算法）能很好地处理这种转化，因此对于树模型来说，这种奇怪的现象是不会影响结果的。

replace()函数

LabelEncoder()函数生成的数字是随机的，如果想按特定内容进行替换，可以使用replace()函数。

import pandas as pd


df = pd.DataFrame({'编号': [1, 2, 3, 4, 5], '城市': ['北京', '上海', '广州', '深圳', '北京']})
print(df)
# 当分类较多时，首先查看属性内容
print(df['城市'].value_counts())
df['城市'] = df['城市'].replace({'北京': 0, '上海': 1, '广州': 2, '深圳': 3})
print(df)

总结

总结来说，Get_dummies的优点是它的值只有0和1，缺点是当类别的数量很多时，特征维度会很高，此时可以配合使用PCA（主成分分析）来减少维度。如果类别数量不多，可以优先考虑使用Get_dummies，其次考虑使用Label Encoding或replace()函数；但如果是基于树模型的机器学习模型，用LabelEncoding也没有太大关系。

数据标准化

1. min-max标准化
   min-max标准化（Min-Max Normalization）也称离差标准化，它利用原始数据的最大值和最小值把原始数据转换到[0，1]区间内，转换公式如下。
   
   其中x、x*分别为转换前和转换后的值，max、min分别为原始数据的最大值和最小值。

演示代码

import pandas as pd
from sklearn.preprocessing import MinMaxScaler

X = pd.DataFrame({'酒精含量': [50, 60, 40, 80, 100], '苹果酸含量(%)': [2, 1, 1, 3, 2]})
y = [0, 0, 0, 1, 1]
X_new = MinMaxScaler().fit_transform(X) # 归一化处理
print(X, '\n', X_new)

2. Z-score标准化
   Z-score标准化（Mean Normaliztion）也称均值归一化，通过原始数据的均值（mean）和标准差（standard deviation）对数据进行标准化。标准化后的数据符合标准正态分布，即均值为0，标准差为1。转换公式如下。
   
   其中x和x*分别为转换前和转换后的值，mean为原始数据的均值，std为原始数据的标准差。
   演示代码

import pandas as pd
from sklearn.preprocessing import StandardScaler # 引入Z-score标准化模块

X = pd.DataFrame({'酒精含量': [50, 60, 40, 80, 100], '苹果酸含量(%)': [2, 1, 1, 3, 2]})
y = [0, 0, 0, 1, 1]
X_new = StandardScaler().fit_transform(X)  # 标准化处理
print(X, '\n', X_new)

对一些量纲相差较大的特征变量，实战中通常会先进行数据标准化，再进行训练集和测试集划分。
除了K近邻算法模型，还有一些模型也是基于距离的，所以量纲对模型影响较大，就需要进行数据标准化，如支持向量机模型、KMeans聚类分析、PCA（主成分分析）等。此外，对于一些线性模型，如线性回归模型和逻辑回归模型，有时也需要进行数据标准化处理。
对于树模型则无须做数据标准化处理，因为数值缩放不影响分裂点位置，对树模型的结构不造成影响。因此，决策树模型及基于决策树模型的随机森林模型、AdaBoost模型、GBDT模型、XGBoost模型、LightGBM模型通常都不需要进行数据标准化处理，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率。在树模型相关的机器学习模型中，进行数据标准化对预测结果不会产生影响。
在实际工作中，如果不确定是否要做数据标准化，可以先尝试做一做数据标准化，看看模型预测准确度是否有提升，如果提升较明显，则推荐进行数据标准化。