基础-正规化
基础-正规化
nopSled
一周一更
展开
-
Layer Normalization翻译
摘要 训练好的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是归一化神经元的激活。最近引入的称为批量归一化(batch normalization)的技术使用在一小批训练样例中对神经元的加权输入的分布来计算均值和方差,然后将其用于在每个训练样例中对该神经元的加权输入进行归一化。这显着减少了前馈神经网络中的训练时间。然而,批量归一化的效果取决于小批量大小,并且如何将其应用于递归神经网络并不明显...翻译 2019-05-17 14:46:43 · 1402 阅读 · 0 评论 -
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift翻译
摘要 训练深度神经网络很复杂,因为每个层的输入分布在训练期间会发生变化,这是由于前一层的参数会发生变化。这通过要求较低的学习速率和详细的参数初始化方式来克服,但是这回减慢模型训练速度,并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移(internal covariate shif),该问题通过使用归一化层输入来解决。我们方法的优势在于使归一化成为模型体系结构的一部分,...翻译 2019-05-13 16:16:25 · 336 阅读 · 0 评论