sklearn中的数据预处理和特征工程

1.数据预处理 Preprocessing & Impute

1…1 数据无量纲化
(1)数据归一化：当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0,1]之间，而这个过程，就叫做数据归一化(Normalization，又称Min-Max Scaling)。注意，Normalization是归一化

用sklearn实现：
from sklearn.preprocessing import MinMaxScaler

from sklearn.preprocessing import MinMaxScaler
import pandas as pd
import numpy as np
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
pd.DataFrame(data)
#现在开始进行归一化
scaler=MinMaxScaler()#实例化
scaler=scaler.fit(data)#fit,在这里是生成min(x)和max(x)
result=scaler.transform(data)#通过接口导出结果
result
scaler.inverse_transform(result) #将归一化后的结果逆转，得到归一化之前的数据

#当X中的特征数量非常多的时候，fit会报错并表示，数据量太大了我计算不了
#此时使用partial_fit作为训练接口
#scaler = scaler.partial_fit(data)

结果

array([[ 0.  ,  0.  ],
       [ 0.25,  0.25],
       [ 0.5 ,  0.5 ],
       [ 1.  ,  1.  ]])

也可以用numpy手动实现

import numpy as np 
x= np.array([[-1, 2], [-0.5, 6], [0, 10], [1, 18]])
x_min=x.min(axis=0)
x_max=x.max(axis=0)
scale=(x-x_min)/(x_max-x_min)
scale
#逆转归一化
data=scale*(x_max-x_min)+x_min
data

结果也是一样的。
(2)标准化
from sklearn.preprocessing import StandardScaler

from  sklearn.preprocessing  import StandardScaler
data=[[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler=StandardScaler()#实例化
result=scaler.fit(data)#fit,本质是生成均值和方差
#result.mean_
#result.var_
result=result.transform(data)

最后得到的是均值为0，方差为1的数据。
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候 保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数 组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所 以不会存在这个问题。

1…2 缺失值
from sklearn.impute import SimpleImputer

import pandas as pd
data=pd.read_csv(r'C:\Users\ASUS PC\Desktop\Narrativedata.csv',index_col=0)
data.head()
data.info()

结果

<class 'pandas.core.frame.DataFrame'>
Int64Index: 891 entries, 0 to 890
Data columns (total 4 columns):
Age         714 non-null float64
Sex         891 non-null object
Embarked    889 non-null object
Survived    891 non-null object
dtypes: float64(1), object(3)
memory usage: 34.8+ KB

从以上数据可以看出，年龄的数据缺失值比较多可以用填补缺失值，Embarked只有两个缺失值，这样对于样本来说直接删除影响不大。
用三种不同的填充方法进行填充。

Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是二维
from sklearn.impute import SimpleImputer
imp_mean=SimpleImputer()#实例化，默认均值填充
imp_median=SimpleImputer(strategy='median')#用中位数填补
imp_0=SimpleImputer(strategy='constant',fill_value=0)#用0填补
imp_mean=imp_mean.fit_transform(Age)
imp_median=imp_median.fit_transform(Age)
imp_0=imp_0.fit_transform(Age)

#使用众数填补Embarked
Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
# Embarked = data.loc[:,['Embarked']].values
im