normalization 和 standardization 到底什么区别？

normalization 和 standardization 到底什么区别？

关于这个问题，很多博客都有介绍，一般是下面这样（X是输入数据集）：

• normalization（也叫 min-max scaling），一般译做 “归一化”：

$$\frac{X-X_{min}}{X_{max}-X_{min}}$$

• standardization，一般译做 “标准化”：

$$\frac{X-\mu }{\sigma }$$

我信了，直到遇到一个叫做 “Batch-Norm (alizaton)” 的概念：

https://en.wikipedia.org/wiki/Batch_normalization

Batch-Norm 是一个网络层，对中间结果作上面说的 standardization 操作。

所以为啥一个 Normalization 却用了 Standardization 的操作？

于是我科学上网去了 google 看了一下：

What’s the difference between Normalization and Standardization?

About Feature Scaling and Normalization
– and the effect of standardization for machine learning algorithms

所以说这个问题其实没有一个定论。大家普遍认同上面所说的两个公式，但是有人不认同，然后发表了一篇关于 XXX-normalization 的论文，所以大家就不得不用这个名称了。

实际上 standardization 也可以叫做 Z-score normalization。所以可以这样理解，standardization 是一种特殊的 normalization。

以后用上 normalization 和 standardization 两个词的时候，为了避免歧，可以这样用：

• normalization 作为一个 scaling 的大类，包括 min-max scaling，standardization 等；
• standardization 和原本的意思一样；
• 如果要表达 (x-x[min])/(x[max]-x[min]) 的意思的时候，用 min-max scaling

至于中文，继续用“归一化”和“标准化”就对了，反正也没多少人用中文表达。

（另外 Batch-Normalization 翻译过来居然是 “批标准化”，这样就没歧义了。。。不过，说好的“归一化”呢）