数据预处理策略

数据预处理

对于实际结构化来说，由于各个属性数据的量纲不同，其数值间可能存在较大差异。如果数据不经处理而直接输入机器学习算法中，有可能模型对于数值较大的属性数据严重依赖而忽略数值较小的属性数据，进而对算法性能产生影响。在此情况下，就需要对属性数据进行缩放处理。缩放处理策略一般有两种方法：标准化和归一化。

标准化

标注化一般使用Z-Score化法，这种方法基于原数据的均值和方差。使用原数据减去均值再除以方差，其公式表达如：
$$x\ast =(x-u)/\sigma$$
其中x、μ和σ分别为原数据、原均值和方差。

经过标准化后，数据转换为均值为1方差为0的标准正态分布。

​ 图 1 标准化示例图

在Sklearn中，其模块为为preprocessing中的StandardScaler

使用方法：

from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss_data = ss.fit_transform(x)

归一化

归一化使用最下最大值法，使用原数据减去最小值再除以最大值减最小值，其公式表达如：
$$x\ast =\frac{x-x_{min}}{x_{max}-x_{min}}$$
通过归一化后，数据全部分布于[0,1]之间。

在Sklearn中，其模块为为preprocessing中的MinMaxScaler

使用方法：

from sklearn.preprocessing import MinMaxScaler
mm =  MinMaxScaler()
mm_data = ss.fit_transform(x)

小结

经过上述两种处理后，数据之间由于量纲的不同而造成的不同属性数据数值差距较大的现象被消除。但是如何选则哪种方法呢

通过公式2可以知道，归一化对数据的最值敏感。最大值和最小值都对归一化的效果有极大影响，而对于一些存在离群点的数据来说，这种方法就可能不适合。在实际应用中，可以先使用标准化，如果在标准化后的属性数据可以获得较好的结果，就使用标准化；反之，则可以继续使用归一化。

以先使用标准化，如果在标准化后的属性数据可以获得较好的结果，就使用标准化；反之，则可以继续使用归一化。