数据的feature scaling

刚开始还研究啥是归一化、啥是标准化，网上说啥的都有。当看到feature scaling这个概念之后，才算是把这个问题搞清楚。

目前的理解：对数据进行feature scaling的目的（在基于梯度下降的模型），让梯度更均匀，避免梯度小的方向更新缓慢，梯度大的方向不容易收敛。防止最终解被数值大的特征所主导。

 

转载:

准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。

　　其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数据归一化的方法有：

min-max标准化(Min-max normalization)

　　也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下：

　　其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

log函数转换

　　通过以10为底的log函数转换的方法同样可以实现归一下，具体方法如下：

　　看了下网上很多介绍都是x*=log10(x)，其实是有问题的，这个结果并非一定落到[0,1]区间上，应该还要除以log10(max)，max为样本数据最大值，并且所有的数据都要大于等于1。

atan函数转换

　　用反正切函数也可以实现数据的归一化：

　　使用这个方法需要注意的是如果想映射的区间为[0,1]，则数据都应该大于等于0，小于0的数据将被映射到[-1,0]区间上。

　　而并非所有数据标准化的结果都映射到[0,1]区间上，其中最常见的标准化方法就是Z标准化，也是SPSS中最为常用的标准化方法：

z-score 标准化(zero-mean normalization)

　　也叫标准差标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为：

　　其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

中心化

        均值搞成0，x'=x-μ

还有白化和PCA等。。。

 

实际操作

PCA和白化只是为了介绍的完整性，实际上再卷积神经网络中并不会采用这些变换.然而对数据进行零中心化操作还是非常重要的，对每个像素进行归一化也很常见.

常见错误

进行预处理很重要的一点是，任何预处理策略(比如数据均值)都只能在训练集数据上进行计算，算法训练完毕后再应用到验证集或者测试集上.

• 例如，如果计算整个数据集图像的平均值,然后每张图片都减去平均值，最后才将整个数据集划分成训练/验证/测试集，这个做法是错误的.
•  正确做法是，应该先分成训练/验证/测试集，只是从训练集中秋图片平均值，然后各个集(训练/验证/测试集)中的图像再减去这个平均值