- 博客(1)
- 收藏
- 关注
原创 【论文阅读笔记】Batch Normalization_Accelerating Deep Network Training by Reducing Internal Covariate Shift
前提知识: covariate shift, 协向量变化,即输入变量x自身的变化【对于一个可学习系统的输入分布在改变。通俗的说,就是一个网络在训练过程中每层子网络的输入在不断变化】 Batch-Normalization,使得网络层输入的分布呈现标准正态分布【均值为0,方差为1】,其可使网络的训练加快【每一层网络的分布不一样,所需的学习率lr不一样,网络系统需要使用最低的那个lr来保证
2018-02-06 14:45:25 308
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人