【论文快读】xavier（2010）

标题：Understanding the difficulty of training deep feedforward neural networks
作者：Xavier Glorot，Yoshua Bengio
链接：http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
摘要：

本文期望：

1. 分析为什么基于随机初始化的梯度下降在DNN上表现不好。
2. 解释了sigmoid对DNN具有局限性，因为随机参数有可能使第一个隐藏层的输出落在其饱和区内。进一步提出了一种新的激活函数。
3. 研究了训练过程中激活输出和梯度的变化，指出当各层Jacobian的奇异值远大于1时将极度不利于训练，进一步提出了一种新的初始化方法——xavier。