卷机神经网络学习笔记-Batch Normalization的理解以及为什么会有用
原论文:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》下图是过程。我的理解是,BN做的事就是让网络自己去学习均值与方差,这是网络想要的均值和方差,就是参数和。BN通常在激活函数之前。 BN+PRelu,是常用的结构然后是为什么。我在吴恩达的视频里看到的是第一个原因,本身归一化特征值x就可以是特征都在类似的范围里面,加速学习。比如有十个特征,
原创
2020-11-14 16:49:07 ·
260 阅读 ·
0 评论