【Datawhale X 李宏毅苹果书 AI夏令营】Task3学习

 3.7 批量归一化

Z值归一化（Z-scorenormalization）

我们就是把这边的某一个数值x，减掉这一个维度算出来的平均值，再除掉这个维度，算出来的标准差，得到新的数值˜ x。得到新的数值以后，再把新的数值把它塞回去。

做完归一化以后，这个维度上面的数值就会平均是0，其方差是1，所以这一排数值的分布就都会在0上下；对每一个维度都做一样的归一化，所有特征不同维度的数值都在0上下，可能就可以制造一个比较好的误差表面。可以让在做梯度下降的时候，损失收敛更快一点，训练更顺利一点。

3.7.1考虑深度学习 

 

3.7.2 测试时的批量归一化 

 3.7.3 内部协变量偏移