标准化,归一化和正则化

0.参考文献

关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
2017.6.3更新：
数据标准化/归一化normalization
归一化与标准化

1.标准化

用的最多的是 z-score标准化

公式为 (X - mean)/ std

计算时对每个属性(每列)分别进行。
将数据按其属性(一般是按列)减去其均值，并除以其标准差，得到的结果是，对每个属性来说，所有数据都聚集在0附近，方差为1.
实现方式：
1. 使用sklearn.preprocessing.scale()函数，可以直接将给定数据进行标准化。

from sklearn import preprocessing
import numpy as np
X=np.array([[1,-1,2],
            [2,0,0],
            [0,1,-1]])
X_scaled = preprocessing.scale(X)
>>>X_scaled
array([[0. ...,-1.22...,1.33...],
      [ 1.22...,  0.  ..., -0.26...],
      [-1.22...,  1.22..., -1.06...]])
处理后的均值和方差:
X_scaled.mean(axis=0)
array([0,0,0])
X_scaled.std(axis=0)
array([1,1,1])

2.
使用sklearn.prep