参数的标准化和归一化

参数的标准化与归一化

注：中文资料中从英文文献中学习，提到normalization和standardization时候，往往将其翻译为“标准化”和“归一化”。但是很坑的一点是，由于翻译软件也没有很好的区分两者，所以几乎所有人都将两者混为一谈，甚至A文章对于“标准化”和“归一化”翻译的对应和B文章是完全相反的。所以为了以后不发生鸡同鸭讲的问题，本文不再使用这两个词的中文翻译。其实这两个词往往都是用来表示特征缩放（Feature scaling)的四种方法的，只不过这些方法都可以被称为Normalization，而Standardization指的是其中的一种方法.

• 什么是Normalization和Standardization的区别？

Normalization typically means rescales the values into a range of [0,1]. Standardization typically means rescales data to have a mean of 0 and a standard deviation of 1 (unit variance).

就是说，Normalization只是做参数的映射，而不会改变原来的分布；而Standardization则是会在映射的同时改变原有分布为均值为0、标准差为1的,注意，Standardization之后参数不一定在[0,1]间。