数据预处理：标准化与归一化的区别

矩阵标准化与归一化的区别

标准化是依照特征矩阵的列处理数据，通过z-score方法，将样本的特征值转换到同一量纲下，要求原始数据的分布近似为高斯分布，否则标准化的效果会变得很糟糕，可以通过现有样本进行估计，在已有足够数量的样本的情况下比较稳定，适嘈杂大数据场景。

标准化的原理比较复杂，它表示原始值与均值之间差多少个标准差，是一个相对值，所以能够达到去除量纲的效果，最大的优势在于使数据的均值为0，标准差为1。均值为0可以使数据以0为中心左右分布，而数据以0为中心进行左右分布会带来很多方便，比如在去中心化的数据上做SVD分解等价于在原始数据上做PCA，机器学习中很多函数比如sigmoid、tanh、softmax等都是以0为中心左右分布（不一定对称）。

归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或者其他核函数计算相似性时，拥有统一标准，也就是说都转化为“单位向量”。归一化的缺点在于当有新的数据加入时，可能导致min和max的变化，需要重新定义，另外最大值与最小值非常容易受到异常点的影响，所以这种方法的鲁棒性比较差，更适合于传统精确小数据场景。

归一化的依据是，不同变量往往具有不同的量纲，归一化可以消除量纲对最终结果的影响，使不同变量具有可比性。

在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，z-score standardization（标准化）的效果更好。

在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用归一化或其他归一化方法，比如图像处理中将RGB图像转换成灰度图像后将其值限制在[0, 255]的范围。

在涉及到计算点与点之间的距离时，使用归一化或者标准化都会对最后的结果有所提升，甚至会有质的区别。归一化与标准化的选择，如果想把所有维度的变量一视同仁，在最后计算距离中发挥相同的作用应该选择标准化，如果想保留原始数据中由标准差所反应的潜在权重关系应该选择归一化，另外标准化更适合嘈杂大数据场景。

知识拓展

矩阵： 零空间、列空间