机器学习好伙伴之scikit-learn的使用——Normalization标准化

在进行训练与测试的时候，需要对数据进行标准化，提高准确度。

什么是标准化

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。其目的是去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

归一化有许多好处，如上图所示，如果不对数据进行标准化便直接训练，由于x₁、x₂的数量级相差巨大，训练效率低且训练过程曲折，训练效果差。进行标准化后的数据用于训练时，便符合上图中的右边图像。
因此，标准化的好处有：
1、提升模型的收敛速度
2、提升模型的精度
3、深度学习中数据归一化可以防止模型梯度爆炸。

sklearn中标准化的实现

在sklearn中使用标准化，首先要载入对应模块

from sklearn import preprocessing

利用scale计算零均值单位方差

该方法通过调用如下函数实现。

preprocessing.scale()

在函数内完成的计算过程为：

(X_train[:,0]-X_train[:,0].mean())/X_train[:,0].std()

本文通过如下代码验证preprocessing.scale()的作用：

a = np.array([[1,2,3],
              [2,3,4],
              [5,6,7]],dtype = np.float64)
print(a)
print(preprocessing.scale(a))
print((a[:,0]-a[:,0].mean())/a[:,0].std())

实验结果为：

a =  [[1. 2. 3.]
 	  [2. 3. 4.]
 	  [5. 6. 7.]]
preprocessing.scale(a) =  [[-0.98058068 -0.98058068 -0.98058068]
 						   [-0.39223227 -0.39223227 -0.39223227]
 						   [ 1.37281295  1.37281295  1.37281295]]
(a[:,0]-a[:,0].mean())/a[:,0].std() =  [-0.98058068 -0.39223227  1.37281295]

利用MinMaxScaler进行最小最大值标准化

该方法通过调用如下函数实现。

min_max_scaler = preprocessing.MinMaxScaler()
min_max_scaler.fit_transform()

在函数内完成的计算过程为：

(X_train[:,0]-X_train[:,0].min())/(X_train[:,0].max()-X_train[:,0].min())

本文通过如下代码验证MinMaxScaler的作用：

a = np.array([[1,1,1],
              [2,3,4],
              [5,5,5]],dtype = np.float64)
min_max_scaler = preprocessing.MinMaxScaler()
print("a = ",a)
print("min_max_scaler.fit_transform(a) = ", min_max_scaler.fit_transform(a))
print("(a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()) = ",(a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()))

实验结果为：

a =  [[1. 1. 1.]
 	  [2. 3. 4.]
 	  [5. 5. 5.]]
min_max_scaler.fit_transform(a) =  [[0.   0.   0.  ]
 									[0.25 0.5  0.75]
 									[1.   1.   1.  ]]
(a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()) =  [0.   0.25 1.  ]

应用示例

本段代码会验证标准化对于实验准确性的影响。
实现代码为：

from sklearn import preprocessing
# 将资料分割成train与test的模块
from sklearn.model_selection import train_test_split
# 生成适合做classification资料的模块
from sklearn.datasets.samples_generator import make_classification 
# Support Vector Machine中的Support Vector Classifier
from sklearn.svm import SVC 
# 可视化数据的模块
import matplotlib.pyplot as plt 
import numpy as np

# 生成具有2种属性的300笔数据
X, y = make_classification(
    n_samples=300, n_features=2,
    n_redundant=0, n_informative=2, 
    random_state=22, n_clusters_per_class=1, 
    scale=100)

# 可视化数据
plt.scatter(X[:, 0], X[:, 1], c=y)

# 该部分并未标准化，准确率较低
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
clf = SVC()
clf.fit(X_train, y_train)
print(clf.score(X_test, y_test))

# 该部分进行了标准化，准确率较高
min_max_scaler = preprocessing.MinMaxScaler()
X = min_max_scaler.fit_transform(X)
#X = preprocessing.scale(X)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
clf = SVC()
clf.fit(X_train, y_train)
print(clf.score(X_test, y_test))

plt.show()

0.5111111111111111
0.8888888888888888