个人笔记（2）归一化与标准化处理

1.理解：

归一化与标准化均不改变数据分布，具体分布与标准化之前的分布一致，标准化后的数据并不一定是标准是标准正态分布。

归一化后数据会在0，1之间（ 也可以设置成其他任意范围 ）；标准化后数据的均值为0，方差为1。

2.公式

归一化：                 

标准化：                    

3.代码实现：均是对列向量数据（输入特征）进行操作

归一化

'''对每列（特征）归一化'''
from sklearn.preprocessing import MinMaxScaler # 导入归一化
 
# feature_range=[a,b]    控制压缩数据范围，默认[0,1]，自定义
scaler = MinMaxScaler(feature_range=[a,b]) # 实例化，调整0,1的数值可以改变归一化范围
 
X = scaler.fit_transform(x)  # 将标签归一化到a,b之间
Y = scaler.fit_transform(y)  # 将特征归于化到a,b之间
 
xx1 = scaler.inverse_transform(X) # 将数据恢复至归一化之前

标准化

'''对每列数据执行标准化'''
 
from sklearn.preprocessing import StandardScaler # 导入标准化
 
scaler = StandardScaler()  # 实例化，均值为0，方差为1
X = scaler.fit_transform(x)  # 标准化特征
Y = scaler.fit_transform(y)  # 标准化标签
 
xx2 = scaler.inverse_transform(X) # 这行代码可以将数据恢复至标准化之前

由此，我们设置归一化参数为【0，1】时，即为标准化

4.使用过程中遇到的问题

当我有多列数据（每列数据一个特征）且需要对各列都进行标准化时，由于我是分开进行标准化的，因此需要对不同列特征的scaler进行区别。具体如下：

错误用法：

---

import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler
np.random.seed(1234)
data = np.random.random(size=(100, 2))
'''仅实例化一个scaler，在标准化时y时均值和方差会把x的均值和方差覆盖'''
scaler = StandardScaler()
x0=data[:,0][:, None]
y0=data[:,-1][:, None]
temp_x = scaler.fit_transform(x0) # 标准化
temp_y = scaler.fit_transform(y0) # 标准化
x = scaler.inverse_transform(temp_x) # 逆标准化
y = scaler.inverse_transform(temp_y) # 逆标准化
print(x0==x)  ##False
print(y0==y)  ##True

正确用法： 

import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler
np.random.seed(1234)
data = np.random.random(size=(100, 2))
'''分别实列化两个scaler，在标准化时分别记录均值和方差,逆标准化时也分别各自用各自的scaler'''
scaler_x = StandardScaler()
scaler_y = StandardScaler()
x0=data[:,0][:, None]
y0=data[:,-1][:, None]
temp_x = scaler_x.fit_transform(x0) # 标准化
temp_y = scaler_y.fit_transform(y0) # 标准化
x = scaler_x.inverse_transform(temp_x) # 逆标准化
y = scaler_y.inverse_transform(temp_y) # 逆标准化
print(x0==x)  ##True
print(y0==y)  ##True

总结：多列数据一起进行标准化时，scaler同时记录各列均值和方差；但是分开对各列数据进行标准化时，一个scaler仅能记录一组，否则会被覆盖，无法逆标准化.