三种数据标准化方法的对比：StandardScaler、MinMaxScaler、RobustScaler

最新推荐文章于 2024-03-17 23:42:37 发布
最新推荐文章于 2024-03-17 23:42:37 发布
阅读量2.3w 收藏 177
点赞数 28
文章标签： python 机器学习 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47478595/article/details/106402843
版权

一、数据标准化 / 归一化的作用

  • 提升模型精度：标准化 / 归一化使不同维度的特征在数值上更具比较性，提高分类器的准确性。
  • 提升收敛速度：对于线性模型，数据归一化使梯度下降过程更加平缓，更易正确的收敛到最优解。

二、标准差标准化 StandardScaler

from sklearn.preprocessing import StandardScaler

使用均值与方差，对服从正态分布的数据处理，得到符合标准正态分布的数据

  • 处理方法：标准化数据减去均值，然后除以标准差，经过处理后数据符合标准正态分布，即均值为0，标准差为1；
  • 转化函数：x = (x-mean) / std；
  • 适用性：适用于本身服从正态分布的数据；
  • Outlier 的影响：基本可用于有outlier的情况，但在计算方差和均值时outliers仍然会影响计算。

参数包括：with_mean, with_std, copy

  • with_mean：布尔型，默认为 True，表示在缩放前将数据居中，当尝试在稀疏矩阵上时，这不起作用(并且会引发异常)，因为将它们居中需要构建一个密集矩阵，在常见的用例中，该矩阵可能太大而无法容纳在内存中；
  • with_std：布尔型，默认为True，表示将数据换算成单位方差(或等效的单位标准差)；
  • copy : 布尔值，默认为True，可选参数，表示拷贝一份数据以避免在原数据上进行操作，若设置为 False 执行插入行规范化并避免复制。

属性包括：mean_, scale_, var_, n_samples_seen_

  • mean_：训练集中每个特征的平均值，当_mean=False时，为None；
  • scale_：每个特征数据的相对缩放；
  • var_：训练集中每个特征的方差，用于计算比例，当_ std =False时，为None；
  • n_samples_seen_：每个特征处理的样本数。如没有丢失的样本，n_samples_seen_是一个整数，否则是一个数组，并将被重置或递增。

三、极差标准化 / 归一化 MinMaxScaler

from sklearn.preprocessing import MinMaxScaler

区间缩放，基于最大最小值，将数据转换到0,1区间上的

  • 处理方法：将特征缩放到给定的最小值和最大值之间，也可以将每个特征的最大绝对值转换至单位大小。这种方法是对原始数据的线性变换，将数据归一到[0,1]中间；
  • 转换函数：x = (x-min) / (max-min)；
  • 适用性：适用于分布范围较稳定的数据，当新数据的加入导致max/min变化，则需重新定义；
  • Outlier 的影响：因为outlier会影响最大值或最小值，因此对outlier非常敏感。

参数包括：min, max, copy

  • min：默认为0，指定区间的下限；
  • max：默认为1，指定区间的上限；
  • copy : 布尔值，默认为True，可选参数，表示拷贝一份数据以避免在原数据上进行操作，若设置为 False 执行插入行规范化并避免复制。

属性包括：min_, scale_, data_min_, data_max_

  • min_：每个功能调整为最小；
  • scale_：每个特征数据的相对缩放；
  • data_min_：每个特征在数据中出现的最小值；
  • data_max_：每个特征在数据中心出现的最大值。

四、稳健标准化 RobustScaler

from sklearn.preprocessing import RobustScaler

使用具有鲁棒性的统计量缩放带有异常值（离群值）的数据

  • 处理方法：该缩放器删除中位数，并根据百分位数范围（默认值为IQR：四分位间距）缩放数据；
  • IQR：是第1个四分位数（25%）和第3个四分位数（75%）之间的范围；
  • 适用性：适用于包含许多异常值的数据；
  • Outlier 的影响：RobustScaler 利用IQR进行缩放来弱化 outlier 的影响。

参数包括：with_centering, with_scaling, quantile_range, copy

  • with_centering：布尔值，默认为 True，表示在缩放之前将数据居中。若使用稀疏矩阵时，这将导致转换引发异常，因为将它们居中需要建立一个密集的矩阵，在通常的使用情况下，该矩阵可能太大而无法容纳在内存中；
  • with_scaling : 布尔值，默认为True，表示将数据缩放到四分位数范围；
  • quantile_range : 元组，默认值为（25.0, 75.0）即 IQR，表示用于计算 scale_的分位数范围；
  • copy : 布尔值，默认为True，可选参数，表示拷贝一份数据以避免在原数据上进行操作，若设置为 False 执行插入行规范化并避免复制。

属性包括：center_, scale_

  • center_ ：训练集中每个属性的中位数；
  • scale_ ：训练集中每个属性的四分位间距。

五、总结

  • 在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，StandardScaler表现更好（避免不同量纲对方差、协方差计算的影响）；
  • 在不涉及距离度量、协方差、数据不符合正态分布、异常值较少的时候，可使用MinMaxScaler。（eg：图像处理中，将RGB图像转换为灰度图像后将其值限定在 [0, 255] 的范围）；
  • 在带有的离群值较多的数据时，推荐使用RobustScaler。

参考文章：
1. 数据标准化/归一化normalization
2. 机器学习中数据预处理——标准化/归一化方法（scaler）
3. 缩放有离群值的数据 sklearn.preprocessing.RobustScaler
4. 标准化数据-StandardScaler

Ancky_W
关注
  • 28
    点赞
  • 踩
  • 177
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python 实现对数据集的归一化的方法(0-1之间)
12-31
多数情况下，需要对数据集进行归一化处理，再对数据进行分析 #首先，引入两个库 ，numpy,sklearn from sklearn.preprocessing import MinMaxScaler import numpy as np #将csv文件导入矩阵当中 my_matrix = np.loadtxt(open(xxxx.csv),delimiter=,,skiprows=0) #将数据集进行归一化处理 scaler = MinMaxScaler( ) scaler.fit(my_matrix) scaler.data_max_ my_matrix_normorliz
数据变换方法: 初值化、 均值化、百分比/倍数变换、归一化、极差最大值化、区间值化： MinMaxScaler、StandardScaler、MaxAbsScaler
冷月无声的博客
04-20 2万+
目录 数据变换的目的 数据变换的七种常见方式 初值化变换 均值化变换 百分比变换 倍数变换 归一化变换 极差最大值化变换 区间值化变换 1. matlab ...
python数据分析之数据标准化
最新发布
m0_70466650的博客
03-17 2099
一般所收集到的数据都需要进行数据标准化，因为在数据集中存在许多量纲不同的指标，比如在学生体质数据集中，包含身高（cm）、体重（kg）等身体指标，可以发现两组指标的数据量纲不一致，指标之间的性质、量纲、数量级、可用性等特征均存在差异，这就会导致我们无法直接用其分析研究对象的特征和规律，同时对模型的可靠性也会造成影响。其次数据标准化在深度学习中会被经常使用，其能够减少噪声的同时，加速模型收敛，提高模型的性能和稳定性。
数据预处理 | 数据标准化及归一化
吉姆0818
10-21 1852
数据预处理时才发现不清楚是否需要做数据标准化及归一化？也不清楚标准化及归一化标准化及归一化区别在哪？有哪些标准化和归一化的工具和方法？在多指标评价体系中，由于各评价指标的性质不同，通常具有...
EarthMapper:遥感影像语义分割（即分类）的管道
05-12
EarthMapper EarthMapper的项目存储库。 这是用于非RGB（即多光谱/高光谱）图像的语义分割的工具箱。 我们将努力添加更多示例和更好的文档。 描述 这是过去几年中我们从事的各种项目的分类管道。 当前可用的选项包括： 预处理 MinMaxScaler-在给定特征范围（例如0-1）之间缩放数据（每通道） StandardScaler-将数据（每通道）缩放到零均值/单位方差 PCA-通过主成分分析降低尺寸 标准化-使用每通道L2范数缩放数据 空间光谱特征提取 堆叠卷积自动编码器（SCAE） 堆叠式多损失卷积自动编码器（SMCAE） 分类器 SVMWorkflow-具有给定训练/验证拆分的支持向量机 SVMCVWorkflow-支持向量机，使用n折交叉验证来找到最佳超参数 RandomForestWorkflow-随机森林分类器 MLP-多层感知器神经网络分类器 SSML
Mininst格式数据制作。
05-09
制作Mininst格式的数据，研究sklearn库等机器学习算法与库用得到。C++的VS2017测试通过。适用于车牌和数字识别。下面是Skearn测试程序。 #导入必备的包 import numpy as np import struct import matplotlib.pyplot as plt import os ##加载svm模型 from sklearn import svm ###用于做数据预处理 from sklearn import preprocessing import time #加载数据的路径 path='.' def load_mnist_train(path, kind='train'): labels_path = os.path.join(path,'%s-labels-idx1-ubyte'% kind) images_path = os.path.join(path,'%s-images-idx3-ubyte'% kind) with open(labels_path, 'rb') as lbpath: magic, n = struct.unpack('>II',lbpath.read(8)) labels = np.fromfile(lbpath,dtype=np.uint8) with open(images_path, 'rb') as imgpath: magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16)) images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784) return images, labels def load_mnist_test(path, kind='t10k'): labels_path = os.path.join(path,'%s-labels-idx1-ubyte'% kind) images_path = os.path.join(path,'%s-images-idx3-ubyte'% kind) with open(labels_path, 'rb') as lbpath: magic, n = struct.unpack('>II',lbpath.read(8)) labels = np.fromfile(lbpath,dtype=np.uint8) with open(images_path, 'rb') as imgpath: magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16)) images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784) return images, labels train_images,train_labels=load_mnist_train(path) test_images,test_labels=load_mnist_test(path) X=preprocessing.StandardScaler().fit_transform(train_images) X_train=X[0:60000] y_train=train_labels[0:60000] print(time.strftime('%Y-%m-%d %H:%M:%S')) model_svc = svm.LinearSVC() #model_svc = svm.SVC() model_svc.fit(X_train,y_train) print(time.strftime('%Y-%m-%d %H:%M:%S')) ##显示前30个样本的真实标签和预测值，用图显示 x=preprocessing.StandardScaler().fit_transform(test_images) x_test=x[0:10000] y_pred=test_labels[0:10000] print(model_svc.score(x_test,y_pred)) y=model_svc.predict(x) fig1=plt.figure(figsize=(8,8)) fig1.subplots_adjust(left=0,right=1,bottom=0,top=1,hspace=0.05,wspace=0.05) for i in range(100): ax=fig1.add_subplot(10,10,i+1,xticks=[],yticks=[]) ax.imshow(np.reshape(test_images[i], [28,28]),cmap=plt.cm.binary,interpolation='nearest') ax.text(0,2,"pred:"+str(y[i]),color='red') #ax.text(0,32,"real:"+str(test_labels[i]),color='blue') plt.show()
理解标准差、标准化、协方差、正态分布
youhuakongzhi的博客
06-24 9883
标准差的定义如上，衡量一组数平均偏离这组数平均值的程度。 标准化（z变换）：是把每个数减去均值、除以标准差，转化为均值为0、标准差为1 的一组数。 标准化可以理解为：标准化的值 = 每个数距离平均值有多少个标准差的大小，即可以理解为到达平均值的距离转化为有多少个标准差 均值为0理解：每个数都减去均值，所以新的数总体加起来为0，其均值就为0 标准差为1：每个数减去平均值之后，只是对整体的数做了平移，数与平均值之间的差距都没有变化，标准差还是原来的值，原始标准差 n = 原始数据距平均值的平均距离是..
Sklearn之数据预处理——StandardScaler
黄佳俊的博客
12-02 8268
StandardScaler原理 作用：去均值和方差归一化。且是针对每一个特征维度来做的，而不是针对样本。 标准差标准化（standardScale）使得经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为： 其中μ为所有样本数据的均值，σ为所有样本数据的标准差。 使用sklearn提供的StandardScaler方法 from sklearn.preprocessing import StandardScaler # 标准化工具 impor...
StandardScaler函数用法
qq_25368751的博客
07-06 4403
StandardScaler()` 是来自 `sklearn.preprocessing` 模块的一个类，其作用是进行特征缩放，使得所有特征的均值为 0，标准差为 1。如果你想要在计算均值和标准差的同时进行缩放，可以使用 `fit_transform` 函数，或者在调用 `fit` 函数后，再调用 `transform` 函数。- `fit` 函数用来计算数据的均值和标准差，为之后的缩放做准备。在调用 `fit` 函数后，`StandardScaler()` 对象会保存计算得到的均值和标准差。
期望、方差、标准差、标准化、归一化
热门推荐
bohu83的博客
06-25 3万+
序 我在看关于KNN的算法介绍里面的时候，提到欧氏距离的时候，说它的缺点的时候，提到了方差，提到了归一化、标准化。如果你也没明白，希望通过本文能理解这个含义。我对上来就直接贴一个数学公式感到头大。 一 期望值 这都是概率论的知识点，不是数学专业，所以侧重于理解，没有公理来证明。目的为了把抽象的概念转换为集合、数字、函数等已知的数学概念，便于理解问题。 一些基础的概念如：样本空间Ω、事件...
StyleMapGAN之celeba_hq 风格迁移 - 图像编辑 测试——测试实验记录【二】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
07-09 1401
撰写： 墨理三生 接上篇博文： StyleMapGAN | 测试实验记录【一】 声明：本博文按照官方readMe步骤，对测试实验过程进行简洁记录，仅供参考，认真整理，请勿搬运 StyleMapGAN | celeba_hq 风格迁移 - 图像编辑 测试 | 测试实验记录【二】 StyleMapGAN 基于 StyleGAN2 改进Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editingceleba_hq 测试.
案例系列：银行信用卡欺诈-不均衡数据二分类.ipynb jupyter 代码
12-20
案例系列：银行信用卡欺诈_不均衡数据二分类.ipynb jupyter 代码 在这种情况下，我们的子样本将是一个具有50/50欺诈和非欺诈交易比例的数据框。这意味着我们的子样本将具有相同数量的欺诈和非欺诈交易。缩放后的金额和时间是具有缩放值的列。在我们的数据集中有492个欺诈案例，所以我们可以随机选择492个非欺诈案例来创建我们的新子数据框。我们将492个欺诈案例和非欺诈案例连接起来，创建一个新的子样本。# 导入所需的库# 创建StandardScaler和RobustScaler对象。
pandas 对每一列数据进行标准化的方法
09-20
今天小编就为大家分享一篇pandas 对每一列数据进行标准化的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
机器学习、数据建模、数据挖掘分析 特征无量纲化的常见操作方法
12-22
在进行特征选择之前，一般会先进行数据无量纲化处理，这样，表征不同属性（单位不同）的各特征之间才...#标准化，返回值为标准化后的数据 from sklearn.preprocessing import StandardScaler StandardScaler().fit_tran
数据标准化与归一化 及其区别
qq_53271322的博客
02-03 3487
介绍了标准化与归一化的基本方法及区别。需要特别注意，除了去除量钢化需要归一化或标准化，还需考虑基于参数的模型或者基于距离的模型，需要对参数或者距离进行计算，都需要进行归一化。
数据预处理-标准化
老Liu的博客
03-01 865
标准化 数据分析及建模过程中，许多机器学习算法需要其输入特征为标准化形式。 例如，SVM算法中的RBF核函数，线性模型中的𝑙1、𝑙2正则项，目标函数往往假设其特征均值在0附近且方差齐次；若样本的特征之间的量纲差异太大，样本之间相似度评估结果将存在偏差。 常见数据标准化方法： Z-Score标准化 Min-Max标准化 1、Z-Score标准化 sklearn.preprocessing.StandardScaler preprocessing.StandardScaler( copy=True, #如果为
在统计学中_RNA-seq中的那些统计学问题——FPKM/RPKM之外的那些标准化方法
weixin_28782823的博客
12-14 4033
目录1. 标准化1.1. House-keeping gene(s)1.2. spike-in1.3. CPM1.4. TCS1.5. Quantile1.6. Median of Ration1.7. TMM2. 为什么说FPKM和RPKM都错了？2.1. FPKM和RPKM分别是什么2.2. 什么样才算好的统计量2.3. FPKM和RPKM犯的错2.4. TPM是一个合适的选择1. 标准化由于...
【python】数据预处理：分位数归一化 Quantile Normalization + INSCODE AI创作助手测试
lillianqdzpw
05-31 4893
这里主要了解一下分位数归一化（。如无特殊说明时，本文中的QN作为分位数归一化的缩写。Quantile Normalization 直接翻译是 分位数归一化，但也有翻译为分位数标准化。笔者理解是按直译叫分位数归一化，但是按数据的处理方式，应该叫分位数标准化，按英文的话就一种：Quantile Normalization。之所以有标准化和归一化两种说法，是因为它们是两种不同的处理方式。本文暂统一名称叫分位数归一化(QN)。
笔记——数据归一化 scikit-learn中的Scaler
chairon的博客
07-09 683
数据归一化 除了·边界比较明显的数据集（像素），一般用均值方差归一化。 测试数据集要用训练集的平均数和标准差进行归一化 import numpy as np import matplotlib.pyplot as plt 最值归一化 normalization x=np.random.randint(0,100,100) x array([84, 5, 7, 97, 16, 15, 64, 71, 55, 58, 12, 0, 73, 41, 27, 92, 97, 21,
MinMaxScaler和StandardScaler进行数据归一化处理
05-20
MinMaxScaler和StandardScaler都是常见的数据归一化方法，用于将数据缩放到一定范围内，便于机器学习模型对数据进行处理和泛化。 MinMaxScaler将数据缩放到[0,1]的范围内，公式如下： $$x'=\frac{x-min}{max-min}$$ 其中，$x$为原始数据，$x'$为归一化后的数据，$min$和$max$分别为数据的最小值和最大值。 StandardScaler将数据缩放到均值为0，方差为1的范围内，公式如下： $$x'=\frac{x-\mu}{\sigma}$$ 其中，$x$为原始数据，$x'$为归一化后的数据，$\mu$和$\sigma$分别为数据的均值和标准差。 选择哪种归一化方法取决于数据的分布和具体应用场景。如果数据分布较为均匀，可以使用MinMaxScaler；如果数据分布较为集中，可以使用StandardScaler。同时，也可以尝试使用其他归一化方法，如RobustScaler等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值