数据标准化、归一化

1.中心化(标准化)

公式：

$$X^{\prime }=\frac{X-\mu }{\sigma }$$

2.归一化[0,1]

公式：

$$X^{\prime }=\frac{X-X_{min}}{X_{max}-X_{min}}$$

3.最大值绝对值标准化

公式：

$$X^{\prime }=\frac{X}{|X_{max}|}$$
注：该方法用于稀疏数据。

4.RobustScaler

公式：

$$X^{\prime }=\frac{X-X_{median}}{IQR}$$
其中，$IQR$为四分位数间距：是上四分位数Qu和下四分卫数Ql之差，之间包含了全部观察值的一半。
$$IQR=Q_3-Q_1$$
注：该方法用于去除异常点（离群点）

Percentile = np.percentile(df['length'],[0,25,50,75,100])
IQR = Percentile[3] - Percentile[1]
UpLimit = Percentile[3]+ageIQR*1.5
DownLimit = Percentile[1]-ageIQR*1.5

Python代码：

import numpy as np
from sklearn import preprocessing
import matplotlib.pyplot as plt
data = np.loadtxt('data6.txt', delimiter='\t') # 读取数据
# Z-Score标准化
zscore_scaler = preprocessing.StandardScaler() # 建立StandardScaler对象
data_scale_1 = zscore_scaler.fit_transform(data) # StandardScaler标准化处理
# Max-Min标准化
minmax_scaler = preprocessing.MinMaxScaler() # 建立MinMaxScaler模型对象
data_scale_2 = minmax_scaler.fit_transform(data) # MinMaxScaler标准化处理
# MaxAbsScaler标准化
maxabsscaler_scaler = preprocessing.MaxAbsScaler() # 建立MaxAbsScaler对象
data_scale_3 = maxabsscaler_scaler.fit_transform(data) # MaxAbsScaler标准化
处理
# RobustScaler标准化
robustscalerr_scaler = preprocessing.RobustScaler() # 建立RobustScaler标准化
对象
data_scale_4 = robustscalerr_scaler.fit_transform(data) # RobustScaler标准
化标准化处理
# 展示多网格结果
data_list = [data, data_scale_1, data_scale_2, data_scale_3, data_scale_4] # 创
建数据集列表
scalar_list = [15, 10, 15, 10, 15, 10] # 创建点尺寸列表
color_list = ['black', 'green', 'blue', 'yellow', 'red'] # 创建颜色列表
merker_list = ['o', ',', '+', 's', 'p'] # 创建样式列表
title_list = ['source data', 'zscore_scaler', 'minmax_scaler', 'maxabsscaler_scaler', 'ro
建标题列表
for i, data_single in enumerate(data_list): # 循环得到索引和每个数值
plt.subplot(2, 3, i + 1) # 确定子网格
plt.scatter(data_single[:, :-1], data_single[:, -1], s=scalar_list[i], marker= merker_
网格展示散点图
plt.title(title_list[i]) # 设置自网格标题
plt.suptitle("raw data and standardized data") # 设置总标题
plt.show() # 展示图形