机器学习中的数据无量纲化小整理

最新推荐文章于 2023-09-11 18:10:09 发布

阿坨

最新推荐文章于 2023-09-11 18:10:09 发布

阅读量2k

点赞数 1

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/atuo200/article/details/105641045

版权

机器学习专栏收录该内容

7 篇文章 3 订阅

订阅专栏

文章目录

数据无量纲化

概述

数据无量纲化是机器学习中数据预处理的一个流程。

在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。

数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered或者Mean-subtraction）处理和缩放处理（Scale）。中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置（数据归一化）。缩放的本质是通过除以一个固定值，将数据固定在某个范围内之中，取对数也算是一种缩放处理（数据标准化）。

数据归一化（Normalization，又称Min-Max Scaling）

数据归一化后的数据服从正态分布，数据归一化的公式如下

在这里插入图片描述

在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数，feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]。

代码示例（使用sklearn.preprocessing来实现归一化）

from sklearn.preprocessing import MinMaxScaler
import pandas as pd

data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
pd.DataFrame(data)

scaler = MinMaxScaler()   #实例化    

scaler = scaler.fit(data)                           
result = scaler.transform(data)      

result_ = scaler.fit_transform(data)    #一步到位输出结果，与上面两行代码是一样的

scaler.inverse_transform(result)	#将归一化的结果逆转回来

scaler = MinMaxScaler(feature_range=[5,10])  #也可以把数据归一化到[5,10]之间
result = scaler.fit_transform(data) 

#当X中的特征数量非常多的时候，fit会报错并表示，数据量太大计算不了
#此时使用partial_fit作为训练接口#scaler = scaler.partial_fit(data)

也可以使用numpy来实现归一化

import numpy as np
X = np.array([[-1, 2], [-0.5, 6], [0, 10], [1, 18]])#归一化
X_nor = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))
X_nor
X_returned = X_nor * (X.max(axis=0) - X.min(axis=0)) + X.min(axis=0)X_returned

数据标准化（StandardScaler）

当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布（即标准正态分布），而这个过程叫做数据标准化（Standardization，又称Z-score normalization），公式如下

在这里插入图片描述

代码实现（使用sklearn.preprocessing来实现标准化）

from sklearn.preprocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler()                           
scaler.fit(data)   #fit，本质是生成均值和方差

scaler.mean_	#查看均值
scaler.var_     #查看方差

var_x_std = scaler.transform(data)		#通过接口导出结果

x_std.mean()                                        
x_std.std()  

#使用fit_transform(data)一步达成结果
scaler.fit_transform(data)
#使用inverse_transform逆转标准化，返回原来的数据
scaler.inverse_transform(x_std)

怎样选择

我们怎么选择数据归一化和数据标准化来进行我们的数据无量纲化处理？答案是看情况。

大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。

建议先试试看StandardScaler，效果不好换MinMaxScaler。