归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）,BN,Batch,批归一化,从归一化到批归一化

目录

1.引言:一些基本概念,

 2.为什么要进行归一化?归一化两个的优点

3.为什么要标准化?标准化的好处?

4.归一化和标准化的区别

5.什么时候用归一化？什么时候用标准化？

6. 哪些模型必须归一化/标准化？

7、逻辑回归必须要进行标准化吗？

8. 为什么需要批归一化(BN)？

9. BN的好处

10、BN的原理

11、BN到底解决了什么

Reference:

---

 

1.引言:一些基本概念,

首先需要了解下一些基本概念

1. 归一化：１）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
2. 标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素值，这些资料可能是高维度的，标准化就是将训练集中某一列数值特征（假设是第i列）的值缩放成均值为0，方差为1的状态。这个方法被广泛的使用在许多机器学习算法中(例如：支持向量机、逻辑回归和类神经网络)。
3. 中心化：平均值为0&