Batch Normalization(批规范化)
一、批规范化的目的
批规范化的目的在于:为了解决深层网络难以训练的问题。深度神经网络之所以难以训练是因为每一层输入的分布在训练期间会随着前一层参数变化而变化,就要求我们必须使用一个很小的学习率和对参数很好的初始化,但是这样么做会让训练过程变得很慢。每一层输入的分布在训练期间会随着前一层参数变化而变化”这种现象在论文中被称为Internal Covariate Shift(即内部协变量偏移)。对...
转载
2019-07-29 20:03:58 ·
1232 阅读 ·
0 评论