《深度学习详解》Task 3 #Datawhale X 李宏毅苹果书 AI夏令营

批量归一化

批量归一化：直接改变误差表面。

特征归一化：给不同的维度，同样的数值范围，制造比较好的误差表面

Z值归一化：${\tilde{x}}_i^r\to \frac{x_i^r-m_i}{{\sigma }_i}$

考虑深度学习

对z做归一化：

1. 计算平均值$\mu =\frac{1}{3}{\sum }_{i=1}^3{z}^i$
2. 计算标准差：$\sigma =\sqrt{\frac{1}{3}{\sum }_{i=1}^3(z^i-\mu {)}^2}$
3. 进行归一化：${\tilde{z}}^i=\frac{z^i-\mu }{\sigma }$

做特征归一化的时候，把整个过程当做是网络的一部分。
实现的时候，使用一个批量里面的样本。

4. ${\hat{z}}^i=\gamma \odot {\bar{z}}^i+\beta$

归一化之后 $\bar{z}$的平均值 一定是0。所有要加上$\beta$ 和$\gamma$ 调整整个输出的分布，从而调整$\hat{z}$的分布。

测试时的批量归一化

推断：测试

移动平均：$\bar{\mu }\leftarrow p\bar{\mu }+(1-p){\mu }^t$

内部协变量偏移

协变量偏移：训练集和预测集样本分布不一致的问题。