机器学习中数据归一化和两种常用的归一化方法

转载 2016年05月09日 14:07:09

机器学习、数据挖掘工作中,数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时,数据预处理的效果也直接影响了后续模型能否有效的工作。然而,目前的大部分学术研究主要集中在模型的构建、优化等方面,对数据预处理的理论研究甚少,可以说,很多数据预处理工作仍然是靠工程师的经验进行的。从业数据建模/挖掘工作也有近2年的时间,在这里结合谈一谈数据预处理中归一化方法。

在之前的博客中转载了一篇关于维归约的文章:数据预处理之归一化。论述的比较简单,有兴趣的可以先了解一下。

在这里主要讨论两种归一化方法:

1、线性函数归一化(Min-Max scaling)

线性函数将原始数据线性化的方法转换到[0 1]的范围,归一化公式如下:


该方法实现对原始数据的等比例缩放,其中Xnorm为归一化后的数据,X为原始数据,Xmax、Xmin分别为原始数据集的最大值和最小值。

2、0均值标准化(Z-score standardization)

0均值归一化方法将原始数据集归一化为均值为0、方差1的数据集,归一化公式如下:

其中,μ、σ分别为原始数据集的均值和方法。该种归一化方式要求原始数据的分布可以近似为高斯分布,否则归一化的效果会变得很糟糕。

以上为两种比较普通但是常用的归一化技术,那这两种归一化的应用场景是怎么样的呢?什么时候第一种方法比较好、什么时候第二种方法比较好呢?下面做一个简要的分析概括:
1、在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,第二种方法(Z-score standardization)表现更好。
2、在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用第一种方法或其他归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在[0 255]的范围。

为什么在距离度量计算相似性、PCA中使用第二种方法(Z-score standardization)会更好呢?我们进行了以下的推倒分析:

归一化方法对方差、协方差的影响:假设数据为2个维度(X、Y),首先看0均值对方法、协方差的影响:
先使用第二种方法进行计算,我们先不错方差归一化,只做0均值化,变换后数据为
x=xx¯ 、 y=yy¯
新数据的协方差为
σxy=1n1in(xix¯)(yiy¯)
由于 x¯=0、 y¯=0 ,因此
σxy=1n1inxiyi
而原始数据协方差为
σxy=1n1in(xix¯)(yiy¯)
=1n1in(xi0)(yiy¯)
=1n1in(xix¯)(yiy¯)
因此 σxy=σxyσxy
做方差归一化后:

x=xx¯σx 、 y=yy¯σy

σxy=1n1in(xi0)(yi0)
=1n1in(xx¯σx)(yy¯σy)
=1(n1)σxσyin(xix¯)(yiy¯)
σxy=σxyσxσy
使用第一种方法进行计算,为方便分析,我们只对X维进行线性函数变换

x=cxi

yy¯
xcxi


计算协方差
σxy=1n1in(cxicx¯)(yiy¯)

=cn1in(xix¯)(yiy¯)
σxy=σxyc
σxy=cσxy

可以看到,使用第一种方法(线性变换后),其协方差产生了倍数值的缩放,因此这种方式无法消除量纲对方差、协方差的影响,对PCA分析影响巨大;同时,由于量纲的存在,使用不同的量纲、距离的计算结果会不同。
而在第二种归一化方式中,新的数据由于对方差进行了归一化,这时候每个维度的量纲其实已经等价了,每个维度都服从均值为0、方差1的正态分布,在计算距离的时候,每个维度都是去量纲化的,避免了不同量纲的选取对距离计算产生的巨大影响。

总结来说,在算法、后续计算中涉及距离度量(聚类分析)或者协方差分析(PCA、LDA等)的,同时数据分布可以近似为状态分布,应当使用0均值的归一化方法。其他应用中更具需要选用合适的归一化方法。


转自:http://blog.csdn.net/zbc1090549839/article/details/44103801


相关文章推荐

再谈机器学习中的归一化方法(Normalization Method)

机器学习、数据挖掘工作中,数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时,数据预处理的效果也直接影响了后续模型能否有效的工作。然而,目前的大部分学术研究主要集...

数据标准化/归一化normalization

http://blog.csdn.net/pipisorry/article/details/52247379数据的标准化(normalization)和归一化    数据的标准化(normaliza...

数据处理之标准化/归一化方法

归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。归一化是为了加快训练网络的收敛性,可以不进行归一化处理 归一化的具体作用是归纳统一样本的统计分布性。归一化...

数据归归一化方法(标准化)

数据归一化方法       数据标准化(normalization)数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。       数据同趋化处理主要解决不同性质数据问题,对不同性质指标...

数据归一化方法大全

在数据分析之前, 我们通常需要先将数据标准化 ( normalization ) , 利用标准 化后的数据进行数据分析。 数据标准化也就是统计数据的指数化。 数据标准化处 理主要包...
  • junmuzi
  • junmuzi
  • 2015年10月05日 20:01
  • 2585

数据预处理之数据归一化

转载来自ufldl.stanford.edu/wiki/index.php/数据预处理  一、简单缩放 分为:最大值缩放和均值缩放 在简单缩放中,我们的目的是通过对数据的每一个维度的值进行重新调...

归一化方法总结

Ref: http://blog.csdn.net/zbc1090549839/article/details/44103801 http://my.oschina.net/sanji/blo...
  • junmuzi
  • junmuzi
  • 2015年10月05日 20:21
  • 19367

数据归一化小结

在各种模型训练,特征选择相关的算法中,大量涉及到数据归一化的问题。比如最常见的情况是计算距离,如果不同维度之间的取值范围不一样,比如feature1的取值范围是[100,200],feature2的取...

数据归一化处理

在机器学习中领域中的数据分析之前,通常需要将数据标准化,利用标准化后得数据进行数据分析。不同评价指标往 往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要...

机器学习之特征归一化(normalization)

参考自斯坦福机器学习课程 一 引子 对房屋售价进行预测时,我们的特征仅有房屋面积一项,但是,在实际生活中,卧室数目也一定程度上影响了房屋售价。下面,我们有这样一组训练样本: 房屋面积(英尺...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习中数据归一化和两种常用的归一化方法
举报原因:
原因补充:

(最多只允许输入30个字)