深度学习中几种常见数据标准化方法

已于 2024-06-10 14:01:45 修改
阅读量2.1k 收藏 32
点赞数 12
分类专栏： 深度学习 数据分析 机器学习 文章标签： 深度学习 人工智能 数据分析
于 2024-06-09 19:37:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Next_SummerAgain/article/details/139562916
版权

目录

一、介绍

二、总结

三、详情 

1. StandardScaler

2. MinMaxScaler

3. RobustScaler

4. MaxAbsScaler

5. Normalizer

6. QuantileTransformer

7. PowerTransformer

8. Log Transform

四、示例 

五、心得

一、介绍

方法名称 缩放范围 适用条件
StandardScaler 均值为0，方差为1 数据具有正态分布的情况下效果最佳
MinMaxScaler [0, 1] 数据分布不平衡或有明显的上下界限
RobustScaler 根据四分位数缩放 数据包含异常值
MaxAbsScaler [-1, 1] 数据已经中心化，即没有偏移
Normalizer 每个样本的范数为1 样本之间有显著的差异，需要将其归一化
QuantileTransformer [0,1]或正态分布 数据分布不均匀
PowerTransformer (Yeo-
Johnson)		 均值为0，方差为1 数据具有正态分布或接近正态分布
Log Transform 非负数据的对数缩放 数据必须为正值或非负值

二、总结

  • StandardScaler：适用于数据本身的分布近似正态分布，通过将数据缩放到均值为0、方差为1，消除不同特征的量纲影响。
  • MinMaxScaler：将数据缩放到指定的最小值和最大值（默认是0和1）之间，适合数据分布有明显上下界的情况。
  • RobustScaler：基于四分位数进行缩放，对于异常值不敏感，适用于数据包含离群点的情况。
  • MaxAbsScaler
最低0.47元/天 解锁文章
深度学习炼丹-数据标准化
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
02-07 2094
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。最后将Normalization概念应用于图像领域，并给出实现的相关细节以及示例代码。
深度学习归一化和标准化
qq_43369406的博客
02-26 4209
在深度学习中，归一化可以是将数据转换为均值为 0，标准差为 1 的分布（即 z-score 归一化），也可以是将数据缩放到一定的范围内，比如 [0,1] 或 [-1,1]。在进行数据预处理的时候一般会使用标准化的方式，即先进行min-max归一化放缩到[0, 1]，再进行z-score归一化放缩到均值为0，方差为1标准正态分布。通过深度学习标准化，可以使得输入数据的分布更加符合深度学习模型的假设，提高模型的泛化能力和鲁棒性，有利于加快模型的训练速度和提高模型的准确性。
深度学习中常见的四种数据标准化方法详细解读（StandardScaler、MinMaxScaler、RobustScaler、MaxAbsScaler）
Next_SummerAgain的博客
08-05 3248
最近，本人在优化深度神经网络模型时发现为了减少预测标签值和真实标签值之间差距，不仅仅需提高模型本身的性能，还关乎于标签值标准化、数据集划分、模型超参数等一系列初始设定。其中后两项的实验内容俗称“炼丹”，很多研究人员已经炉火丹青，运筹帷幄，唯独标签值标准化容易被人忽略。一个优秀的标准化方法不仅能提高模型训练的稳定性，加速收敛，还能增强模型测试性能，可谓是中流砥柱。现有模型训练大多默认选用 StandardScaler()，这本没错，但是如果能够参考标签值分布尝试其他方法，并修改为适合的激活函数。
深度学习数据预处理：标准化的核心逻辑与常见误区
最新发布
galaxy223的博客
04-01 742
标准化为何成为深度学习数据预处理的标配？本文从特征权重失衡、激活函数敏感区优化、模型泛化能力提升三个角度切入，通过直观案例与数学推导，解析标准化的底层逻辑。同时对比归一化的局限性，阐明标准化在深度学习场景中的不可替代性。无论你是困惑于“梯度消失”的新手，还是纠结于归一化与标准化选择的实践者，此文将为你扫清核心认知盲区。
深度学习—标准化（Normalization）
sunghosts的专栏
04-15 4063
前言 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）； 将输入的shape记为[N, C, H, W]，这几个方法主要的区别就是在： batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好； layerNorm
【机器学习&深度学习】数据标准化方法总结[Data Normalization]
JianJuly的博客
01-28 3142
转自https://vnnw00.wordpress.com/2010/07/06/%E6%95%B0%E6%8D%AE%E6%A0%87%E5%87%86%E5%8C%96%E6%96%B9%E6%B3%95%E6%80%BB%E7%BB%93data-normalization/ 在分析实验数据的时候，往往需要对数据进行标准化[normalization]，即将实验数据的取值转换到某一...
Deep Learning-4 深度学习-数据标准
weixin_42914706的博客
06-27 1131
反标准化：将经过标准化的数据还原为原始数据。这在需要将模型预测结果还原为原始范围时非常有用。每个标准化数据对应反标转化的方式目的：对标准化的数据进行还原。
【深度学习】数据归一化/标准化 Normalization/Standardization
神也在Cpoy
01-30 3633
归一化后的数据范围为 [-1, 1]，其中mean、min、max为样本数据的平均值、最小值和最大值。归一化后的数据范围为 [0, 1]，其中min max分别求样本数据的最小值和最大值。归一化后的数据范围为实数集，其中mean、σ 分别为样本数据的均值和标准差。海拔越高、氧气含量越低，因为数据范围的原因，导致两者的相关性展示得不明显。归一化，指将数据样本中的数据进行处理，使它们处于同一量级。的最小整数，归一化后的数据范围为 [-1, 1]：经过处理的数据呈均值为0，标准差为1的分布。
深度学习中常见的权重参数初始化方法
2301_76846375的博客
09-08 1590
Xavier 初始化适合 Sigmoid、Tanh 激活函数，能够保持输入和输出的方差平衡。He 初始化适合 ReLU 和 Leaky ReLU 激活函数，能帮助防止梯度消失问题。随机初始化用于打破神经元之间的对称性，但需要注意数值范围。预训练权重在迁移学习中常用，能够加速训练并提升效果。通过合理的权重初始化方法，深度学习模型可以更快地收敛，并获得更好的训练效果。
深度学习中的正则化方法
梁小憨憨的博客
01-06 993
最近看到了正则化的内容，发现自己对正则化的理解已经忘得差不多了，这里在整理一下，方便以后查阅。
深度学习中的归一化方法详解
介绍AI领域相关知识
11-24 1363
在深度学习中，归一化（Normalization）是一种关键的技术，它通过调整数据的分布，使得模型训练更加稳定、高效。归一化方法可以应用于输入数据、隐藏层激活值、甚至权重参数。归一化的主要作用有加速模型收敛（减少训练过程中的梯度消失或爆炸问题）、稳定训练过程（缓解内部协变量偏移问题）以及提高模型性能（增强模型的泛化能力，防止过拟合）。
深度学习标准化
qq_24548569的博客
12-04 2678
深度学习标准化 引言 何凯明在他的论文《Rethinking ImageNet Pre-training》中不使用ImageNet预训练，直接使用参数随机初始化方式（scratch），成功地训练出目标检测任务的神经网络模型。 为什么使用Batch Normalization不能从scratch训练目标检测任务的模型？ 为什么何凯明使用Group Normalization和Synchronized...
深度学习速通系列:标准化和归一化
Ven%的博客
08-28 374
也称为Z-score标准化。目的是将数据的分布转换为均值为0，标准差为1的标准正态分布。公式：其中，𝑥x 是原始数据点，𝜇μ 是数据的均值，𝜎σ 是数据的标准差。
深度学习之数据标准化方法综述
DeepAIedu的博客
04-19 3273
数据标准化，顾名思义，就是将原来分布范围不同的数据缩放在一个范围之内，一般来说是标准化到均值为0，标准差为1的标准正态分布，均值为0是为了让数据中心化，让各个维度的特征都平衡，标准差为1是为了让数据在各个维度上的长度都呈现一个单位向量(矩阵)，也就是把原来大小范围分布不通的数据缩放成统一量纲，和拳击比赛一样，只有相同重量级的对手才能同台比赛，这里把数据的标准差缩放为1的意义就相当于把轻量级选手的体重加重，把重量级选手的体重减轻，让他们在同一个擂台上比赛，否则比赛就不公平。
【深度学习实验】网络优化与正则化（五）：数据预处理详解——标准化、归一化、白化、去除异常值、处理缺失值
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
11-15 2241
本文介绍了神经网络中的数据预处理方法，包括标准化、归一化、白化、去除异常值、处理缺失值等
机器学习中数据标准化相关方法
weixin_49446112的博客
12-03 5881
拿到一批原始数据后，经过对缺失值的填补、异常值的处理以及组合型数据的生成，可以得到一份较为完整的数据集。但是不同指标具有不同的性质（连续、离散）和不同的数量级，直接进行训练会削弱数量级较低数据带来的影响，所以还需要对数据进行标准化处理（目标值通常不需要缩放），才能让数据可以投入训练。 数据标准化就是把有量纲的数据变成无量纲的数据，把量级不同的数据处理到同一个量级，从而让不同纬度的数据之间具有可比性，对于机器学习来说，用来提升模型的预测效果。 具体常用的标准...
深度学习第六讲之批标准化(Batch Normalization)
热门推荐
zhaojianting的博客
04-27 1万+
转载请注明出处 batch 是批数据, 把数据分成小批小批进行 stochastic gradient descent. 而且在每批数据进行前向传递 forward propagation 的时候, 对每一层都进行 normalization 的处理 在一定范围内，一般来说Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 盲目增大 Batch_Size 有何好处与坏处...
机器学习--数据的标准化常用方法
越努力越幸运
07-09 1458
数据标准化的意义 许多机器学习建模前，如果特征看起来一点都不符合标准正态分布的话，训练得到的模型可能会很糟糕。 标准化在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。 min-max标准化 也称为离散标准化，是对原始数据的线性变换，将数据值映射到[0, 1]之间。 Z-score标准化 x：观测值 x_：总...
机器学习-day02-数据标准化方法
健康平安的活着的专栏
12-22 651
评价是现代社会各领域的一项经常性的工作，是科学做出管理决策的重要依据。随着人们研究领域的不断扩大，所面临的评价对象日趋复杂，如果仅依据单一指标对事物进行评价往往不尽合理，必须全面地从整体的角度考虑问题，多指标综合评价方法应运而生。所谓多指标综合评价方法，就是把描述评价对象不同方面的多个指标的信息综合起来，并得到一个综合指标，由此对评价对象做一个整体上的评判，并进行横向或纵向比较。 而在多指标评价...
深度学习 数据标准化
12-26
深度学习中数据标准化是一个重要的预处理步骤，它的目标是将输入数据调整到一个一致的尺度，以便模型能够更好地学习特征并加速训练过程。数据标准化有几种常见的方法，主要包括： 1. **Z-score标准化** (Zero-Mean Unit Variance Scaling)，也称为z-score标准化或规范化。它将每个特征的值减去其平均值，然后除以其标准差，使得结果落在均值为0、标准差为1的正态分布上。公式为：`(x - u) / s`，其中x是原始值，u是特征均值，s是标准差。 2. **Min-Max标准化** 或 **范围缩放**。这种方法将数据缩放到[0, 1]区间内，常用于图像处理，公式为 `(x - min) / (max - min)`，其中min和max分别是特征的最小值和最大值。 3. **单位立方体标准化** 或 **小数定标标准化**。类似Min-Max标准化，但它将数据映射到[-1, 1]之间，公式为 `(x - min) / (max - min) * 2 - 1`。 在深度学习库如TensorFlow、Keras或PyTorch中，可以使用内置的函数来进行数据标准化，比如`tf.keras.layers.Normalization`或`sklearn.preprocessing.StandardScaler`等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值