数据处理 标准化和归一化

最新推荐文章于 2023-02-21 15:40:00 发布
最新推荐文章于 2023-02-21 15:40:00 发布
阅读量720 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41066584/article/details/124084399
版权

归一化

定义上的区别

归一化：将数据的值压缩到0到1之间，公式如下

举例来说

有一组数据[0 10 20 55 99 100]

进行归一化

[0 0.1 0.2 0.55 0.99 1]

标准化

通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

  • 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
  • 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

标准化的好处

  • 特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征

如果数据的异常值过多，采用归一化会影响到模型，标准化的影响相对比较小

JiangHe1997
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【神经网络】如何对数组横向进行标准化
人间不值得
10-23 873
如果要对数组按行进行Z-score标准化（0-1标准化） 最近在实现数据的标准化时，发生了很难按行进行标准化的情况： 问题       1、按照普通的写法很容易发生如下的情况 import numpy as np A = np.array([[1,2,3], [4,5,6], [7,8,9]]) print(A.mean(axis=1)) print(A-np.mean(A, axis...
2024年大数据最全【机器学习】数据预处理 - 归一化和标准化_归一化处理，干货整理
最新发布
2401_84615919的博客
05-05 690
比如，我们在择偶时，有身高、体重、存款三个特征，身高是180、体重是180、存款是180000；存款的数值跟其他数据不在一个数量级，这意味着存款的对择偶结果的影响比较大，但我们认为这三个特征同样重要，这时候就需要把这些规格不同的数据转换到同一规格。处理数据之前，通常会使用一些转换函数将「特征数据」转换成更适合「算法模型」的特征数据。这个过程，也叫数据预处理。从输出结果可以看到，数据规格都是有「差异」的，接下来，我们对数据进行归一。从结果可以看到，归一后的结果，数据规格都在 0~1 之间。
对数据进行标准化
weixin_40945354的博客
03-22 211
from sklearn.preprocessing import MinMaxScaler # initialize min-max scaler mm_scaler = MinMaxScaler() temp1_df = train_df.copy() column_names = temp1_df.columns.tolist() # transform all attributes ...
归一化-转
weixin_30279671的博客
06-10 246
搞KLPP时用到归一化这个概念，转一个帖子： 归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。 在 matlab 里面，用于归一化的方法共有三种 :（ 1 ） premnmx 、 postmnmx 、 tramnmx（ 2 ） prestd 、 poststd...
数据分析 | 数据预处理（归一化和标准化）
qq_36396757的博客
05-18 1446
目录 数据预处理（无量纲化） 数据归一化 数据标准化 下一期讲一讲特征工程 关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识 铁甲将军夜渡关 朝臣带漏五更寒 山寺日高僧未起 看来名利不如闲 啪！（醒木的声音） 一周没有更新了【吃瓜】 因为了小小的科（摸）研（鱼）任务 忙 都忙 忙点好啊（主要是早上不起床） 我们在进行数据分析时，有一个非常重要的前期操作--数据预处理 在学习机器学习算法时，为了更好的理解算法的基本思想 会用到处理过的很干净的..
【机器学习】为什么需要对数值型的特征做归一化(Normalization)？
wzk4869的博客
02-21 2239
【机器学习】为什么需要对数值型的特征做归一化(Normalization)？
arcgis数据处理归一化和标准化.tbx
08-28
ARCGIS数据处理标准化和归一化的处理工具箱
使用sklearn进行对数据标准化、归一化以及将数据还原的方法
12-25
归一化其实就是标准化的一种方式，只不过归一化是将数据映射到了[0,1]这个区间中。 标准化则是将数据按照比例缩放，使之放到一个特定区间中。标准化后的数据的均值＝0，标准差＝1，因而标准化的数据可正可负。 二、...
详解python实现数据归一化处理的方式：（0,1）标准化
12-25
在机器学习过程中，对数据的处理过程中，常常需要对数据进行归一化处理，下面介绍（0， 1）标准化的方式，简单的说，其功能就是将预处理的数据的数值范围按一定关系“压缩”到（0，1）的范围类。 通常（0， 1）标注...
归一化和标准化
每一个不曾起舞的日子，都是对人生的辜负。
08-10 1207
归一化：数据平移缩放到0~1，去除量纲，但是对异常点比较敏感 标准化：数据平移缩放到01正态分布，将集中分布的数据打散 其他可选数据处理方式： 缩放到均值为0，方差为1（Standardization——StandardScaler()） 缩放到0和1之间（Standardization——MinMaxScaler()） 缩放到-1和1之间（Standardization——MaxAbsScaler()） 缩放到0和1之间，保留原始数据的分布（Normalization——Normalizer()）
归一化处理
weixin_43681559的博客
09-20 1万+
简单记录归一化的内容 待补充代码
【墙裂推荐】最完整的数据标准化解答！！！
Li_yi_chao的博客
06-21 2125
机器学习初学者常常会将拿来的数据，直接喂入算法训练，不得不说，再进一步深入研究中，数据标准化是他们不得不搞清楚的难题。什么是数据标准化，标准化的作用是啥，什么情况下应该对应什么方法尼？ 一、关于什么标准化，这里就不阐述了，帖子太多了。我需要说明的是，数据标准化和归一化其实是一回事，只是归一化常为将数据转换到（0-1）之间，标准化则不一定。 二、数据标准化：四作用一缺点（注意：不同方...
数据归一化常用的两种方法
江南蜡笔小新
03-17 2302
「转载」原文链接https://blog.csdn.net/acdreamers/article/details/44664205，感谢原作者的付出。 在机器学习中领域中的数据分析之前，通常需要将数据标准化，利用标准化后得数据进行数据分析。不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。...
什么是”归一化“处理？
qq_43711995的博客
11-19 5052
什么是“归一化”？与“标准化”有哪些不同？
数据标准化/归一化normalization
热门推荐
皮皮blog
08-19 44万+
http://blog.csdn.net/pipisorry/article/details/52247379 这里主要讲连续型特征归一化的常用方法。 连续型特征还有一种处理方式是，先分桶/分箱（如等频/等距的分）[待写]进行离散化后再使用离散数据的处理方法。 离散数据处理参考[数据预处理：独热编码（One-Hot Encoding）]。 基础知识参考： [均值、方差与协方差矩阵] [...
数据的归一化与标准化
gy245770710的博客
02-27 2418
一、归一化与标准化的概念 1.数据归一化和标准化的目的   归一化/标准化可以去除数据单位对计算带来的影响，也就是所谓的去量纲行为，归一化/标准化实质是一种线性变换，线性变换有很多良好的性质，这些性质决定了对数据改变后不会造成“失效”，反而能提高数据的表现，这些性质是归一化/标准化的前提。以三个时间字段为例来说明单位对计算带来的影响，假设一组数据有三个字段均表示3小时，如下表所示： 小时 ...
数据处理中的归一化与反归一化
shuangrenyu5的博客
03-18 3万+
一、定义 数据归一化（标准化）是数据预处理的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，为避免影响数据分析结果、消除指标之间的量纲影响，须对数据进行标准化处理。 数据的归一化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权，加快训练网络的收敛性。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。 二、两种常用的归一化方法 （1）线性函数归一化（Min-M
python数据处理——标准化处理
weixin_49080960的博客
05-02 6369
对多组数据进行标准化处理
Softmax()、log_softmax() 实现归一化
简单记录生活、学习
04-26 2万+
归一化是把数据压缩到[0,1]，把量纲转为无量纲的过程，方便计算、比较等。 1.归一化的好处 提升模型的收敛速度 提升模型的精度 具体关于归一化的内容看：https://blog.csdn.net/weixin_43135178/article/details/114685798 2.解释Softmax归一化 在多分类问题中，通常会使用softmax函数作为网络输出层的激活函数，softmax函数可以对输出值进行归一化操作，把所有输出值都转化为概率（0~1之间），所有概率值加起来等于1，softm
数据归一化和标准化处理
09-24
数据归一化和标准化处理是数据预处理的常用方法之一。数据归一化将原始数据规定在一个范围区间中，通常是[0,1]或[-1,1]，使得不同特征之间具有相同的重要性。而标准化处理则是将数据转换为均值为0，标准差为1的分布...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值