数据规范化处理

常用的三种数据规范化处理方法:

  常用的数据规范化处理主要有Min-max规范化、Z-Score规范化和小数定标规范化。下面简要介绍下三种数据规范化方法，并用python的机器学习库SciKit-Learn来实现数据变化。

Min-max 规范化

  Min-max 规范化方法是将原始数据变换到[0,1]的空间中用公式表示就是：

新数值 =（原数值 - 极小值）/（极大值 - 极小值）。

  sciKit-Learn中的MinMaxScaler函数可以将原始数据投射到指定空间[min,max],默认情况下[min,max]是[0,1].运行代码：

from sklearn import preprocessing
import numpy as np
# 初始化数据，每一行表示一个样本，每一列表示一个特征
x = np.array([[ 0., -3.,  1.],
              [ 3.,  1.,  2.],
              [ 0.,  1., -1.]])
# 将数据进行[0,1]规范化
min_max_scaler = preprocessing.MinMaxScaler()
minmax_x = min_max_scaler.fit_transform(x)
print (minmax_x)

运行结果:

[[0.         0.         0.66666667]
 [1.         1.         1.        ]
 [0.         1.         0.        ]]

Z-Score 规范化

  Z-Score规范化可以直接将数据转化为正态分布。
Z-Score ：

新数值 =（原数值 - 均值）/ 标准差。

  Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和方差，而且结果没有实际意义，只是用于比较。

  SciKit-Learn库中的preprocessing.scale()函数可以直接将给定的数据进行Z-Score规范化。运行代码:

from sklearn import preprocessing
import numpy as np
# 初始化数据
x = np.array([[ 0., -3.,  1.],
              [ 3.,  1.,  2.],
              [ 0.,  1., -1.]])
# 将数据进行Z-Score规范化
scaled_x = preprocessing.scale(x)
print (scaled_x)

运行结果:

[[-0.70710678 -1.41421356  0.26726124]
 [ 1.41421356  0.70710678  1.06904497]
 [-0.70710678  0.70710678 -1.33630621]]

小数定标规范化

  小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性 A 的取值中的最大绝对值。
  比如属性 A 的取值范围是 -999 到 88，那么最大绝对值为 999，小数点就会移动 3 位，即新数值 = 原数值 /1000。那么 A 的取值范围就被规范化为 -0.999 到 0.088。

 通过NumPy库计算小数点位数。运行代码：

from sklearn import preprocessing
import numpy as np
# 初始化数据
x = np.array([[ 0., -3.,  1.],
              [ 3.,  1.,  2.],
              [ 0.,  1., -1.]])
# 小数定标规范化
j = np.ceil(np.log10(np.max(abs(x))))
scaled_x = x/(10**j)
print (scaled_x)

运行结果:

[[ 0.  -0.3  0.1]
 [ 0.3  0.1  0.2]
 [ 0.   0.1 -0.1]]