机器学习-特征工程之数据预处理

在上一节中的泰坦尼克号入门案例的数据预处理过程中，出现了数据不完整、数据的编码(数值转化)，即将非结构化文本转化为结构化文本。本文主要用来记录在sklearn中常用的数据预处理基本方法。

数据预处理

从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程。

可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小。

目的：让数据适应模型，匹配模型的需求。

1. 数据无量纲化

在机器学习算法实践中，往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。

数据的无量纲化包括线性与非线性。其中线性的无量纲化包括：中心化(Zero-centered或Mean-subtraction)处理和缩放处理(Scale)。

1. 中心化

   让所有记录减去一个固定值，即让数据的样本数据平移到某个位置。

2. 缩放处理

   通过除以一个固定值，将数据固定在某个范围之中，通常采用取对数的方式。

1.1 数据归一化

当数据(x)按照最小值中心化后，再按极差（最大值-最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0,1]之间，而这个过程，就叫做数据归一化(Normalization，又称Min-MaxScaling)。公式如下：

​ $$x=\frac{x^{\ast }-min(x)}{max(x)-min(x)}$$

在sklearn中通过preprocessing.MinMaxScaler实现此功能。其中，feature_range可以控制数据压缩的范围，默认为[0,1]。

from sklearn.preprocessing import MinMaxScaler
import pandas as pd
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
pd.DataFrame(data)
# 实现归一化
scaler = MinMaxScaler() # 实例化
scaler = scaler.fit(data) # 生成min(x),max(x)
result = scaler.transform(data) # 导出结果

结果输出：

array([[0.  , 0.  ],
       [0.25, 0.25],
	   [0.5 , 0.5 ],
       [1.  , 1.  ]])

将所有的数据压缩至[0,1]之间。

scaler.inverse_transform(result) #逆转结果
Out:
	array([[-1. ,  2. ],
       	   [-0.5,  6. ],
           [ 0. , 10. ],
           [ 1. , 18. ]])

采用feature_range将数据范围压缩至[0,5]之间。

# 使用MinMaxScaler的参数feature_range实现将数据归一化到[0,1]以外的范围中
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
scaler = MinMaxScaler(feature_range=[5,10]) # 实例化归一化到5~10之间
result = scaler.fit_transform(data)
result
Out：
    array([[ 5.  ,  5.  ],
           [ 6.25,  6.25],
           [ 7.5 ,  7.5