Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
BN要解决什么问题?普通的SGD 学习速度慢,主要是因为1,艰难地调参(初始化)2.只能用比较小的learning rate 3.容易陷入gradient vanish的问题中 btw. 3是2的部分原因(2的另一部分原因是grad的方向曲曲折折走了很多相互抵消的“路”),3更大的问题learning 会停在local minima就不动了,没找到global minima。p
原创
2017-01-28 13:59:30 ·
552 阅读 ·
1 评论