神经网络Xavier随机初始化

最新推荐文章于 2022-06-30 19:54:45 发布

佛系老王

最新推荐文章于 2022-06-30 19:54:45 发布

阅读量670

点赞数

本文链接：https://blog.csdn.net/weixin_42203572/article/details/104377356

版权

本文深入探讨了Xavier初始化方法，一种用于深度学习网络权重初始化的技术。该方法旨在确保信息在网络中顺畅流动，使各层输出的方差保持一致，不受输入或输出节点数量的影响。通过均匀分布随机采样权重，Xavier初始化有助于稳定训练过程。

摘要由CSDN通过智能技术生成

该方法来源于2010年的论文Understanding the difficulty of training deep feedforward neural network
该方法的思想是：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等
具体的推导过程见如下链接：
深度学习——Xavier初始化方法
 深度学习中Xavier初始化
推导所得的结果就是使该层中权重参数的每个元素都随机采样于均匀分布：
$U(-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}})$
其中a是该层的输入个数，b是该层的输出个数，它的设计主要考虑到，模型参数初始化后，每层输出的方差不该受该层输入个数影响，且每层梯度的方差也不该受该层输出个数影响。