数据预处理与特征工程 - 数据预处理
数据挖掘的五大流程:
1. 获取数据
2. 数据预处理
从数据中检测,纠正或删除损坏、不准确或不适用于模型的记录的过程
目的:让数据适应模型,匹配模型的需求
3. 特征工程
将原始数据转换为更能代表预测模型的潜在问题的特征的过程,可以通过挑选最相关的特征,提取特征以及创造特征来实现;其中创造特征经常以降维算法的方式实现
目的:降低计算成本,提升模型上限
4. 建模,测试模型并预测出结果
5. 上线,验证模型效果
sklearn中的数据预处理与特征工程
模块:
preprocessing:几乎包含数据预处理所有内容
Impute:填补缺失值专用
feature_selection:包含特征选择的各种方法的实践
2 数据预处理 preprocessing & Impute
2.1 数据无量纲化
我们往往有将不同规格的数据转换到同一规格,或不同分布的数据转换到标准正态分布的需求,这种需求统称为将数据“无量纲化”;
在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;
在距离类模型中,譬如k近邻,K-means中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响;
数据的无量纲化可以是线性也可以是非线性的;
线性的无量纲化包括中心化(zero-centered or mean-subtraction)处理和缩放处理(scale);
中心化的本质是让所有记录减去一个固定值,让数据样本平移到某个位置;
缩放的本质是通过除以一个固定值,让数据固定在某个范围之中,取对数也是一种缩放处理
preprocessing.MinMaxScaler
当数据按照最小值中心化后,再按极差(最大值 - 最小值)缩放,数据移动了最小值个单位,并且会被收敛到[0,1]之间,这个过程叫做数据归一化(Normalization or Min-Max Scaling)
在sklearn中,我们用preprocessing.MinMaxScaler来实现这个功能;
preprocessing.MinMaxScaler有一个重要参数:feature_range,控制我们希望把数据压缩到的范围,默认是[0,1]
from sklearn.preprocessing import MinMaxScaler
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
# 使用pandas来实现归一化
import pandas as pd
pd.DataFrame(data)
# 实现归一化
scaler = MinMaxScaler() # 实例化
scaler = scaler.fit(data) # 生成min(x)和max(x)
result = scaler.transform(data) # 通过接口导出结果
result
result_ = scaler.fit_transform(data) # 训练和导出结果一步达成
result_
scaler.inverse_transform(result) # 将归一化后的结果逆转
# 使用MinMaxScaler的参数feature_range实现将数据归一化到[0,1]以外的范围中
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
scaler = MinMaxScaler(feature_range=[5,10])
result = scaler.fit_transform(data)
result
# 当x中的特征数量非常多,fit会报错并表示计算不了
# 此时用partial_fit作为训练接口
scaler = scaler.partial_fit(data)
# 使用numpy来实现归一化
import numpy as np
X = np.array([[-1,2],[-0.5,6],[0,10],[1,18]])
# 归一化
# 归一化实质:(X - 最小值) / 极差(最大值 - 最小值)
X_nor = (X - X.min(axis=0))/(X.max(axis=0) - X.min(axis=0))
X_nor
# 逆转归一化
X_returned = X_nor * (X.max(axis=0) - X.min(axis=0)) + X.min(axis=0)
X_returned
preprocessing.StandardScaler
当数据按均值中心化后,再按标准差缩放,数据就会服从均值为0,方差为1的正态分布,
这个过程就叫做数据标准化(standardization or z-score normalization)
from sklearn.preprocessing import StandardScaler
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
scaler = StandardScaler() # 实例化
scaler = scaler.fit(data) # 本质是生成均值和方差
scaler.mean_ # 查看均值的属性
scaler.var_ # 查看方差的属性
x_std = scaler.transform(data) # 通过接口导出结果
x_std.mean() # 导出的结果是一个数组,用mean()查看均值
x_std.std() # 查看方差
scaler.fit_transform(data) # 训练和导出结果一步达成
scaler.inverse_transform(x_std) # 使用inverse_transform逆转标准化
对于StandardScaler和MinMaxScaler,空值NaN会被当作缺失值,在fit时忽略,在transform会保持缺失NaN的状态显示;fit接口只允许导入至少二维数组,一维数组会报错
StandardScaler和MinMaxScaler选哪个?
在PCA,聚类,逻辑回归,支持向量机,神经网络中,StandardScaler更好;
MinMaxScaler对异常值敏感,在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛;
可以先试试StandardScaler,不好再MinMaxScaler;
还有其他选择:
希望压缩数据,却不影响数据的稀疏性时,使用MaxAbsScaler;
在异常值多,噪声大时,选择用分位数来无量纲化,使用RobustScaler
2.2 缺失值
impute.SimpleImputer
包括四个重要参数:
参数 | 含义 & 输入 |
missing_values | 数据中的缺失值长什么样,默认空值np.nan |
strategy | 填补缺失值的策略,默认均值 ‘mean’用均值填补(仅对数值型特征) ‘median’用中值填补(仅对数值型特征) ‘most_frequent’用众数填补(数值型,字符型可用) ‘constant’参考‘fill_value’中的值(数值型,字符型可用) |
fill_value | strategy为‘constant’可用,常用0 |
copy | 默认为True,创建特征矩阵的副本 |
1. 用sklearn处理缺失值
所用的数据集为kaggle官网的titanic数据集只剩下age,sex,embarked和survived的部分
import pandas as pd
data = pd.read_csv("C:\\Users\\Leng3\\jupyter_notebook_code\\datasets\\titanic\\ctrain.csv")
data.head()
data.info()
Age = data.loc[:,'Age'].values.reshape(-1,1) # sklearn当中特征矩阵必须是二维
from sklearn.impute import SimpleImputer
imp_mean = SimpleImputer() # 实例化,默认均值填补
imp_median = SimpleImputer(strategy='median') # 用中位数填补
imp_0 = SimpleImputer(strategy='constant',fill_value=0) # 用0填补
imp_mean = imp_mean.fit_transform(Age)
imp_median = imp_median.fit_transform(Age)
imp_0 = imp_0.fit_transform(Age)
imp_mean[:20]
imp_median[:20]
imp_0[:20]
# 使用中位数填补Age
data.loc[:,'Age'] = imp_median
data.info()
# 使用众数填补Embarked
Embarked = data.loc[:,'Embarked'].values.reshape(-1,1)
imp_mode = SimpleImputer(strategy = 'most_frequent')
data.loc[:,'Embarked'] = imp_mode.fit_transform(Embarked)
data.info()
2. 用pandas和numpy填补更简单
# 用pandas和numpy进行填补更简单
import pandas as pd
data_ = pd.read_csv("C:\\Users\\Leng3\\jupyter_notebook_code\\datasets\\titanic\\ctrain.csv")
data_.head()
data_.loc[:,'Age'] = data_.loc[:,'Age'].fillna(data_.loc[:,'Age'].median())
# .dropna(axis=0)删除所有有缺失值的行,.dropna(axis=1)删除所有有缺失值的列
# inplace True为再原数据集上修改,False表示生成一个复制对象
data_.dropna(axis=0,inplace=True)
data_.info()
2.3 处理分类型特征:编码与哑变量
在sklearn中,许多算法都需要输入数值型数据;
我们必须将数据进行编码,将文字型数据转换为数值型
preprocessing.LabelEncoder:标签专用,能将分类转换为分类数值
import pandas as pd
data = pd.read_csv("C:\\Users\\Leng3\\jupyter_notebook_code\\datasets\\titanic\\ctrain.csv")
from sklearn.preprocessing import LabelEncoder
y = data.iloc[:,-1] # 要输入的是标签,不是特征矩阵,所以允许一维
le = LabelEncoder() # 实例化
le = le.fit(y) # 导入数据
label = le.transform(y) # 接口调取结果
label
le.classes_ # 属性.classes 查看标签中究竟有多少类别
le.fit_transform(y) # 也可以用fit_transform一步到位
le.inverse_transform(label) # 也可以使用inverse_transform逆转
data.iloc[:,-1] = label # 让标签等于我们运行出来的结果
data.head()
# 更凝练的写法
from sklearn.preprocessing import LabelEncoder
import pandas as pd
data = pd.read_csv("C:\\Users\\Leng3\\jupyter_notebook_code\\datasets\\titanic\\ctrain.csv")
data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])
preprocessing.OrdinalEncoder:特征专用,能够将分类特征转换为分类数值
from sklearn.preprocessing import OrdinalEncoder
# 接口categories_ 对应LabelEncoder的接口classes_
data_ = data.copy()
data_.head()
OrdinalEncoder().fit(data_.iloc[:,1:-1]).categories_
data_.iloc[:,1:-1] = OrdinalEncoder().fit_transform(data_.iloc[:,1:-1])
data_.head()
preprocessing.OneHotEncoder:独热编码,创建哑变量
让算法彻底领悟,特征的多个取值是没有可计算性质的,是有你就没我的不等概念
像性别和舱门,都是这样的名义变量
我们需要使用独热编码,将两个特征都转换为哑变量
data.head()
from sklearn.preprocessing import OneHotEncoder
X = data.iloc[:,1:-1]
enc = OneHotEncoder(categories='auto').fit(X)
result = enc.transform(X).toarray()
result
# 依然可以一步到位
OneHotEncoder(categories='auto').fit_transform(X).toarray()
# 依然可以还原
enc.inverse_transform(result)
enc.get_feature_names()
result
# axis=1,表示跨行进行合并,将量表左右相连;axis=0,将量表上下相连
newdata = pd.concat([data,pd.DataFrame(result)],axis=1)
newdata.head()
newdata.drop(['Sex','Embarked'],axis=1,inplace=True)
newdata.columns = ['Age','Survived','Female','Male','EmbarkedC','EmbarkedQ','EmbarkedS','nan']
newdata.head()
newdata.drop(['nan'],axis=1,inplace=True)
newdata.head()
2.4 处理连续性特征:二值化与分箱
preprocessing.Binarizer
根据阈值将数据二值化(特征值设置为0或1),用于处理连续型变量;
大于阈值的值映射为1,小于阈值的值映射为0;
默认阈值为0时,特征中的所有正值都映射到1;
二值化是对文本计数数据的常见操作
from sklearn.preprocessing import Binarizer
X = data_.iloc[:,0].values.reshape(-1,1) # 类为特征专用,所以不能使用一维数组
transformer = Binarizer(threshold=38).fit_transform(X)
data_.iloc[:,0] = transformer
data_.head()
preprocessing.KBinsDiscretizer
将连续型变量划分为分类变量的类,能够将连续型变量排序后按顺序分箱后编码;
参数 | 含义 & 输入 |
n_bins | 每个特征中分箱的个数,默认5,一次会被运用到所有导入的特征 |
encode | 默认‘onehot’ ‘onehot’:哑变量,返回一个稀疏矩阵,每一列是一个特征中的一个类别,含有该类别的样本表示为1,不含的表示为0 ‘ordinal’:每个特征的每个箱都被编码为一个正式,返回每一列是一个特征,每个特征下含有不同整数编码的箱的矩阵 ‘onehot-dense’:哑变量,之后返回一个密集数组 |
strategy | 定义箱宽,默认‘quantile’ ‘uniform’:等宽分箱,每个特征中的每个箱的最大值之间的差为 (特征.max()-特征min())/(n_bins) 'quantile':等位分箱,即每个特征中的每个箱内的样本数量都相同 'kmeans':按聚类分箱,每个箱中的值到最近的一维k均值聚类的簇心的距离都相同 |
from sklearn.preprocessing import KBinsDiscretizer
X = data_.iloc[:,0].values.reshape(-1,1)
est = KBinsDiscretizer(n_bins=3,encode='ordinal',strategy='uniform')
est.fit_transform(X)
# 查看转换后分的箱:变成了一列中的三箱
# set集合去掉重复值
set(est.fit_transform(X).ravel())
est = KBinsDiscretizer(n_bins=3,encode='onehot',strategy='uniform')
# 查看转换后分的箱:变成了哑变量
est.fit_transform(X).toarray()