tensorflow（1）---归一化

（1）归一化是属于预处理阶段的操作

 

（2）归一化所在库sklearn.processing中

（3）归一化是对数据中x进行转化，y不动（x为原始数据，y为分类标签）

（4）归一化是把数据每列变换到差不多的数量级

（5）为什么归一化：

以线性回归y=w1*x1+w2*x2为例（不考虑偏置bias）,假设x1为年龄(10,20,30,40),x2为收入(10000,20000,30000,40000),此时数量级x2>>x1（远远大于）。y不变，数量级w1>>w2,在梯度下降求线性回归时，第一步初始化w的值不容易确定,并且对于损失函数来说

 如图，损失函数椭圆中心点为最优解，在循环中,w2很容易便达到了预期点，并在周围徘徊等待其他维度，这样可能会使整体迭代时间很长。

（6）怎么归一化：

                最大最小值归一化：,xij为所有行所有列中最大的数据（全局最大），min(xj)为每一列最小值，max（xj）为每一列最大值

                优点：一定可以缩放到0-1之间

                缺点：只用了最大值和最小值来做归一化，如果最大值或最小值是异常值，会非常不均匀

                方差归一化：每个值除以每一列的方差

                优点：因为是用方差，而方差其实用了一列的所有数据来算出来的，所以可以减轻异常值的影响

                缺点：不一定会把数据缩放到0到1之间

                均值归一化：每一个值去减去所在一列的均值

                目的：也是可以用于减小数量级的，更重要的目的是使得我们的数据有正有负

（7）总结归一化好处：

用了归一化，可以使我们的W调整的方向更趋近于沿着直线方向去走

用了归一化，可以使得我们找到更小损失，更好的局部最优解