数据变换--数据规范化

最新推荐文章于 2024-05-21 00:00:00 发布
最新推荐文章于 2024-05-21 00:00:00 发布
阅读量1.8k 收藏 13
点赞数 2
分类专栏： 数据导入与预处理 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67240604/article/details/126673371
版权

规范化：将属性数据按比例缩放，使之落入一个小的特定区间

1）最小—最大规范化：假定minA和maxA分别为属性A的最小和最大值，则通过下面公式将A的值映射到区间[new_minA, new_maxA]中：

2）z-score规范化（零均值规范化）：
将属性A的值根据其平均值和标准差进行规范化；
常用于属性最大值与最小值未知，或使用最小最大规范化方法会出现异常数据的情况。

其中，meanA、 standard_devA分别为属性A取值的均值和标准差。 

3）小数定标规范化：通过移动属性A的小数点位置进行规范化，小数点的移动依赖于A的最大绝对值

--star
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最小最大规范化、 小数定标、z_score规范化算法
08-21
三、实验内容 　　　运用java编程语言实现求最小最大规范化、小数定标、z_score规范化的算法。 源代码 package com.zz.rule; import java.util.Iterator; import java.util.List; import java.util.Collections; public class Rule {
数据挖掘实验（一）数据规范化【最小-最大规范化、零-均值规范化、小数定标规范化】
qq_62377885的博客
10-03 2976
数据规范化处理是数据挖掘的一项基础工作。不同的属性变量往往具有不同的取值范围，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果。为了消除指标之间由于取值范围带来的差异，需要进行标准化处理。将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。
数据分析归一化方法.pdf
12-23
数据分析归⼀化⽅法 数据分析归⼀化⽅法 数据分析归⼀化⽅法 ⼀、总结 ⼀、总结 ⼀句话总结： ⼀句话总结： ⼀种是把数变为（ ⼀种是把数变为（0， ，1）之间的⼩数 ）之间的⼩数 ⼀种是把有量纲表达式变为⽆量纲表达式 ⼀种是把有量纲表达式变为⽆量纲表达式 1、归⼀化中 、归⼀化中 把数变为（ 把数变为（0， ，1）之间的⼩数 ）之间的⼩数 的实例？ 的实例？ 求和，然后算权值 求和，然后算权值 {2.5 3.5 0.5 1.5}归⼀化后变成了{0.3125 0.4375 0.0625 0.1875} 解：2.5+3.5+0.5+1.5=8， 2.5/8=0.3125， 3.5/8=0.4375， 0.5/8=0.0625， 1.5/8=0.1875. 这个归⼀化就是将括号⾥⾯的总和变成1.然后写出每个数的⽐例。 2、归⼀化中 、归⼀化中 把有量纲表达式变为⽆量纲表达式 把有量纲表达式变为⽆量纲表达式 的实例？ 的实例？ 将复数部分变成纯数量 将复数部分变成纯数量 归⼀化是⼀种简化计算的⽅式，即将有量纲的表达式，经过变换，化为⽆量纲的表达式，成为纯量。 ⽐如，复数阻抗可以归⼀化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了，没有量纲。 ⼆、归⼀化⽅法 ⼆、归⼀化⽅法 来源：百度 归⼀化⽅法有两种形式，⼀种是把数变为（0，1）之间的，⼀种是把有量纲表达式变为⽆量纲表达式。主要是为了数据处理⽅便提出来 的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到范畴之内。 例1：{2.5 3.5 0.5 1.5}归⼀化后变成了{0.3125 0.4375 0.0625 0.1875} 解：2.5+3.5+0.5+1.5=8， 2.5/8=0.3125， 3.5/8=0.4375， 0.5/8=0.0625， 1.5/8=0.1875. 这个归⼀化就是将括号⾥⾯的总和变成1.然后写出每个数的⽐例。 归⼀化是⼀种简化计算的⽅式，即将有 的表达式，经过变换，化为⽆量纲的表达式，成为 。 ⽐如，复数阻抗可以归⼀化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了，没有量纲。 另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以如此处理，既保证了运算的便捷，⼜能凸现出物理量的本质 含义。 在统计学中，归⼀化的具体作⽤是归纳统⼀样本的 性。归⼀化在0-1之间是统计的 分布，归⼀化在-1--+1之间是统计的坐标分布。 归⼀化化定义：归⼀化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的⼀定范围内。⾸先归⼀化是为了后⾯数据处理 的⽅便，其次是保证程序运⾏时收敛加快。归⼀化的具体作⽤是归纳统⼀样本的统计分布性。归⼀化在0-1之间是统计的概率分布，归⼀化 在某个区间上是统计的坐标分布。归⼀化有同⼀、统⼀和合⼀的意思。 如果是区间上的值，则可以⽤区间上的相对位置来归⼀化，即选中⼀个相位参考点，⽤相对位置和整个区间的⽐值或是整个区间的给定值作 ⽐值，得到⼀个归⼀化的数据，⽐如类似于⼀个概率值0<=p<=1； 如果是物理量，则⼀般可以统⼀度量衡之后归⼀，实在没有统⼀的⽅法，则给出⼀个⾃定义的概念来描述亦可； 如果是数值，则可以⽤很多常见的数学函数进⾏归⼀化，使它们之间的可⽐性更显然，更强，⽐如对数归⼀，指数归⼀，三⾓or反三⾓函数 归⼀等，归⼀的⽬的可能是使得没有可⽐性的数据变得具有可⽐性，但⼜还会保持相⽐较的两个数据之间的相对关系，如⼤⼩关系，⼤的仍 然⼤，⼩的仍然⼩，或是为了作图，原来很难在⼀张图上作出来，归⼀化后就可以很⽅便的给出图上的相对位置等； 从集合的⾓度来看，可以做维度的维⼀，即抽象化归⼀，把不重要的，不具可⽐性的集合中的元素的属性去掉，保留⼈们关⼼的那些属性， 这样，本来不具有可⽐性的对象或是事物，就可以归⼀，即归为⼀类，然后就可以⽐较了，并且，⼈们往往喜欢⽤相对量来⽐较，⽐如⼈和 ⽜，⾝⾼体重都没有可⽐性，但⾝⾼/体重的值，就可能有了可⽐性，⼈吃多少，⽜吃多少，可能也没有直接的可⽐性，但相对于体重，或 是相对于⼀天的各⾃的能量提供需要的⾷量，就有了可⽐性；这些，从数学⾓度来看，可以认为是把有纲量变成了⽆纲量了。 数据标准化⽅法（Data Normalization Method） 数据处理之标准化/归⼀化，形式上是变化表达，本质上是为了⽐较认识。数据的标准化是将数据按⽐例缩放，使之落⼊⼀个⼩的特定区 间。由于信⽤指标体系的各个指标度量单位是不同的，为了能够将指标参与评价计算，需要对指标进⾏规范化处理，通过函数变换将其数值 映射到某个数值区间。
数据变换和规范化
03-07
数据分析任务多半涉及数据集成。数据集成合并多个数据源的数据，数据集成中冗余是一个主要问题，有些冗余可以用相关分析检测到。本实验主要通过卡方相关分析研究两个属性的相关程度。数据变换将数据统一成适合挖掘的形式。 1. 数据集成卡方的相关分析 2. 数据变换，包括最小-最大规范化，z-score规范化，小数定标规换化。
数据规范化（归一化）、及Z-score标准化
热门推荐
写IT博客的我，读math博客的你
05-15 15万+
数据规范化数据规范化（归一化）处理是数据挖掘的一项基础工作。不同评价指标往往具有不同的量纲，数值见的差别可能很大，不进行处理可能会影响到数据分析的结果。为了消除指标之间的量纲和取值范围差异的影响，需要进行标准化处理，将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。如将工资收入属性值映射到[-1, 1]或者[0, 1]内。数据规范化对于基于距离的挖掘算法尤为重要。（1）最小-最大规...
数据挖掘——测试1习题总结
XU_MAN_的博客
03-11 2195
1，最大-最小值规范化的计算公式： （数值-最小值）/（最大值-最小值） 2，z分数变换的计算公式： （数值-平均值）/标准差 3，皮尔森相关系数意义： ...
【数据分析】数据预处理—最小-最大规范化、z-score规范化、小数定标规范化
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
03-22 3338
例如，我们需要考察学生A和学生B的某门课程成绩。A的考试满分是100分（及格60分），B的考试满分是150分（及格90分）。显然，A和B的100分代表着完全不同的含义。
最大最小规范化的方法
weixin_44444578的博客
06-02 1万+
最大最小规范化的方法 1、 将属性的值映射到0至1的范围内 2、将属性的值映射到0至100的范围内 3、将属性的值映射到60至100的范围内 将属性的值映射到0至1的范围内 假设属性收入的最大最小值分别是11000元和91000元，利用最大最小规范化的方法将属性的值映射到0至1的范围内，对属性收入的52000元将被转化为： A、52000/（91000-11000）=0.65 B、（52000-11000）/（91000-11000）=0.5121 C、（91000-11000）/91000=0.8791
数据挖掘之数据规范化
LZW760907的博客
12-17 1821
　　数据规范化处理是数据挖掘的一项基本操作。现实中，数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。特别是基于距离的挖掘方法，在建模前一定要对数据进行规范化处理，如SVM，KNN，K-means，聚类等方法 数据规范化处理处理主要有以下三种 1，最小-最大...
kaggle-plankton:Kaggle 数据科学碗的代码
06-18
尴尬地并行化变换 - 不是更快 找出跨子类别的错误分类错误，以确定是否有必要利用树结构 -> 实施专家系统 确保测试图像平均有效 看看是否真的需要更多的神经元（检查过滤器是否死了） - 没有死的神经元可能可以使用...
《从零进阶！数据分析的统计基础》-1.数据分析概述.pdf
12-23
数据转换 不同字段值由于计量单位等不同，往往造成数据不可⽐，需要在分析前对数据进⾏变换，包括⽆量纲化处理、线性变换、汇总和聚集、 适度概化、规范化、以及属性构造等 第四步：数据验证 初步评估和判断数据是否...
基于3G的VANETs数据传输的技术研究
01-27
其次，为了避开优化问题的复杂性，将原始的优化问题变换成整数线性规范问题ILP（integer linear programming problem）；最后通过解决ILP，在不同时刻分配3G预算，并选择最不可能通过VANETs传输的数据用于3G传输。...
数据规范化处理
休的博客
02-11 6946
常用的三种数据规范化处理方法:   常用的数据规范化处理主要有Min-max规范化、Z-Score规范化和小数定标规范化。下面简要介绍下三种数据规范化方法，并用python的机器学习库SciKit-Learn来实现数据变化。 Min-max 规范化   Min-max 规范化方法是将原始数据变换到[0,1]的空间中用公式表示就是： 新数值 =（原数值 - 极小值）/（极大值 - 极小值）。 运行代...
读书笔记 -- 004_数据预处理_数据规范化
HH的专栏
12-10 2430
概述 所用的度量单位可能影响数据分析。例如，把height的度量单位从米制换成英寸，把weight的度量单位从公斤换成磅，可能导致的结果不一样。一般而言，用较小的单位表示属性将导致该属性具有较大的值域，因此趋向于使这样的属性具有较大的影响或较高的“权重”。为了帮助避免对度量单位选择的依赖性，数据应该规范化或标准化。这涉及到变换数据，使之落入较小的共同区间，如[-1， 1]或[0.0， 1.0]
数据规范化常用方法对比
LittleMouse
04-29 2105
目录前言常用的数据规范化方法最小-最大规范化零-均值规范化小数定标规范化 前言 数据规范化，也叫数据标准化（归一化），是数据变换的一种。由于不同指标的数据之间可能存在较大的差异，为了消除指标之间的量纲和取值范围差异的影响，需要进行规范化处理，将数据按比例进行缩放，使之落入一个特定的区域。通常将数据规范化到 [0,1] 或 [-1,1] 区间内。 常用的数据规范化方法 最小-最大规范化 零-均值规范化 小数定标规范化 最小-最大规范化 零-均值规范化 小数定标规范化 拓展：数据规范化的代码实现（Pyth
数据规范化
黑开水的专栏
08-25 6343
通过将属性值按比例缩放，使之落入一个小的特定区间，如0.0～1.0，对属性规范化。对于涉及神经网络或距离度量的分类算法（如最近邻分类）和聚类，规范化特别有用。如果使用神经网络后向传播算法进行分类挖掘（见第6章），对于训练元组中量度每个属性的输入值规范化将有助于加快学习阶段的速度。
常用数据规范化方法: min-max规范化，零-均值规范化等
钉洲小懒猫的博客
02-21 1万+
数据变换是数据准备的重要环节，将数据转换成适用于数据挖掘的形式。数据变换的常用方式： 数据平滑：去除噪声，将数据离散化 数据聚集：如sql中的聚集函数，count(), sum() 数据概化：数据由较低概念 抽象为 较高概念 数据规范化：统一尺度 属性构造：构造新的属性 （特征工程） 相关代码地址 接下来，介绍数据规范化的几种方法： 1 Min-Max 规范化(最小-最大规范化) 将原始数据映...
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-21 101
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 256
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
练习数据规范化： 数据 13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70 - 使用最小-最大规范化将 35 映射到 [0,1] 区间 - 使用z分数规范化变化 35 - 使用小数定标规范化变换 35 - 使用深度为 3 的箱，用箱均值光滑数据。
03-24
- 使用小数定标规范化变换 35：采用小数定标规范化将 35 转换为以10为底的小数形式，公式为x/10^k，其中k为使得所有数据都在 (-1, 1) 区间内的最小整数，对于本题，35 的k为2，因此将 35 转换为小数形式得到的结果为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值