关闭

数据归一化和两种常用的归一化方法

标签: 数据归一化归一化方法
246人阅读 评论(0) 收藏 举报

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法:

一、min-max标准化(Min-Max Normalization)

也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下:

clip_image002

其中max为样本数据的最大值,min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

二、Z-score标准化方法

这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:

clip_image004

其中clip_image006为所有样本数据的均值,clip_image008为所有样本数据的标准差。

参考文献:

http://webdataanalysis.net/data-analysis-method/data-normalization/

0
0
查看评论

数据归一化的方法总结

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上,常见的数据归...
  • ghostlv
  • ghostlv
  • 2016-04-15 16:13
  • 1083

机器学习中数据归一化和两种常用的归一化方法

机器学习、数据挖掘工作中,数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时,数据预处理的效果也直接影响了后续模型能否有效的工作。然而,目前的大部分学术研究主要集中在模型的构建、优化等方面,对数据预处理的理论研究甚少,可以说,很多数据预处理工作仍然是靠工程师的经...
  • suibianshen2012
  • suibianshen2012
  • 2016-05-09 14:07
  • 7635

机器学习中常见的几种归一化方法以及原因

在机器学习中,数据归一化是非常重要,它可能会导致模型坏掉或者训练出一个很奇怪的模型,为了让机器学习的模型更加适合实际情况,需要对数据进行归一化处理。 1.机器学习中常用的归一化方法: 2. 不同归一化方法分析: 线性变换和极差法(线性归一化) 将原始数据线性化的方法转换到[0 1]的范围,该方法...
  • UESTC_C2_403
  • UESTC_C2_403
  • 2017-07-22 20:19
  • 2065

数据归一化及两种常用归一化方法

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
  • u010599509
  • u010599509
  • 2016-07-04 14:39
  • 5518

机器学习中的归一化方法(Normalization Method)

机器学习、数据挖掘工作中,数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时,数据预处理的效果也直接影响了后续模型能否有效的工作。然而,目前的大部分学术研究主要集中在模型的构建、优化等方面,对数据预处理的理论研究甚少,可以说,很多数据预处理工作仍然是靠工程师的经...
  • dulingtingzi
  • dulingtingzi
  • 2016-05-10 18:31
  • 3031

特征工程(三) 数据标准化和归一化

归一化: 1)把数据变成(0,1)之间的小数 2)把有量纲表达式变成无量纲表达式   归一化算法有: 1.线性转换        y=(x-MinValue)/(MaxValue-MinValue 2.对数函数转换:   ...
  • Nicholas_Liu2017
  • Nicholas_Liu2017
  • 2017-07-08 19:43
  • 728

数据归一化的作用--在svm 训练的时候特别有用

主要参考: http://www.zhihu.com/question/20455227 下面来讲一下SVM 的参数的说明吧:   cmd = ['-s 1 -t 3 ','-v ',num2str(v),' -n ',num2str(...
  • keyanxiaocaicai
  • keyanxiaocaicai
  • 2016-08-11 16:31
  • 1128

为什么要数据归一化和归一化方法

转自:https://zhuanlan.zhihu.com/p/27627299 在喂给机器学习模型的数据中,对数据要进行归一化的处理。 为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。 例子 假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。 那么可以得到的公...
  • wuxiaosi808
  • wuxiaosi808
  • 2017-09-22 08:59
  • 479

数据归一化和两种常用的归一化方法

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一...
  • u012468540
  • u012468540
  • 2014-07-22 11:11
  • 724

数据归一化处理

在机器学习中领域中的数据分析之前,通常需要将数据标准化,利用标准化后得数据进行数据分析。不同评价指标往 往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据 标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量...
  • ACdreamers
  • ACdreamers
  • 2015-03-27 01:22
  • 8030
    个人资料
    • 访问:304631次
    • 积分:3787
    • 等级:
    • 排名:第10086名
    • 原创:128篇
    • 转载:38篇
    • 译文:0篇
    • 评论:107条
    微信打赏
    联系方式
    Github: github.com/shgao328

    Mail: shgao328@126.com

    QQ: 615838972
    最新评论