关于特征缩放、标准化、归一化的定义和作用

前言

我在学李宏毅的机器学习课程，助教给的回归作业代码中有数据标准化的操作。

我听过数据标准化，还有归一化、批量归一化等等，但不是很懂，不知道他们具体是什么、有什么区别。

百度上找了挺多文章，讲得都不是很系统，比如大多文章都没讲懂标准化和归一化的区别或者是不同文章讲的内容矛盾了。

用谷歌一搜，就找到了很多很有价值的相关文章，然后我也写了这篇文章做个记录。

相对来讲，中文社区要比英文社区差些，部分原因是名词滥用或中英翻译问题，比如标准化和归一化、常量指针和指针常量。emmm
概要

本文主要讲解了以下内容

特征缩放是什么/特征缩放的定义
归一化是什么/归一化的定义
标准化是什么/标准化的定义
归一化和标准化的区别
为什么要进行特征缩放/特征缩放有什么作用
有哪些常见的特征缩放方法
什么时候适合进行特征缩放/特征缩放方法的应用

名词定义

这几个词是有区别的，特别是标准化和归一化，不要滥用（在本文中也请区分这几个词）。
中文 英文
特征缩放 Feature Scaling
标准化 Standardization(Z-Score Normalization)
归一化 Normalization

可以认为Feature Scaling包括Standardization和Normalization，其中Standardization可以叫做Z-Score Normalization。
为什么需要进行特征缩放

使用单一指标对某事物进行评价并不合理，因此需要多指标综合评价方法。多指标综合评价方法，就是把描述某事物不同方面的多个指标综合起来得到一个综合指标，并通过它评价、比较该事物。

由于性质不同，不同评价指标