【啃书吧：深度学习与MindSpore实践】第四章 4.5 批标准化

初读：2021年3月13日-2021年3月16日

啃书进度会在目录中标出来。本次目标是完成第4章 4.5 批标准化（P49-P50）。

在深度学习系统中，深层神经网络的训练调参极为困难（“困难”过于轻描淡写，让我训练个模型还不如让我去买体彩）。在训练过程中，往往需要尝试不同的正则化方法、学习率等方式来帮助模型加速收敛。深度神经网络之所以如此难训练，其中一个重要原因就是神经网络中层与层之间存在高度的关联性。这些关联性会导致内协变量移位（Internal Covariate Shift，简称ICS），正确的断句的方式是这样的——“内”、“协变量”、“移位”（或偏移）。

祥细内容请看附件文档。

转自文章链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=114231

感谢作者的努力与分享，侵权立删！