关闭

深度学习——Xavier初始化方法

29762人阅读 评论(11) 收藏 举报
分类:

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。

为了使得网络中信息更好的流动,每一层输出的方差应该尽量相等。

基于这个目标,现在我们就去推导一下:每一层的权重应该满足哪种条件。

文章先假设的是线性激活函数,而且满足0点处导数为1,即
这里写图片描述

现在我们先来分析一层卷积:
这里写图片描述
其中ni表示输入个数。

根据概率统计知识我们有下面的方差公式:
这里写图片描述

特别的,当我们假设输入和权重都是0均值时(目前有了BN之后,这一点也较容易满足),上式可以简化为:
这里写图片描述

进一步假设输入x和权重w独立同分布,则有:
这里写图片描述

于是,为了保证输入与输出方差一致,则应该有:
这里写图片描述

对于一个多层的网络,某一层的方差可以用累积的形式表达:
这里写图片描述

特别的,反向传播计算梯度时同样具有类似的形式:
这里写图片描述

综上,为了保证前向传播和反向传播时每一层的方差一致,应满足:

这里写图片描述

但是,实际当中输入与输出的个数往往不相等,于是为了均衡考量,最终我们的权重方差应满足

———————————————————————————————————————
这里写图片描述
———————————————————————————————————————

学过概率统计的都知道 [a,b] 间的均匀分布的方差为:
这里写图片描述

因此,Xavier初始化的实现就是下面的均匀分布:

——————————————————————————————————————————
这里写图片描述
———————————————————————————————————————————

下面,我们来看一下caffe中具体是怎样实现的,代码位于include/caffe/filler.hpp文件中。

template <typename Dtype>
class XavierFiller : public Filler<Dtype> {
 public:
  explicit XavierFiller(const FillerParameter& param)
      : Filler<Dtype>(param) {}
  virtual void Fill(Blob<Dtype>* blob) {
    CHECK(blob->count());
    int fan_in = blob->count() / blob->num();
    int fan_out = blob->count() / blob->channels();
    Dtype n = fan_in;  // default to fan_in
    if (this->filler_param_.variance_norm() ==
        FillerParameter_VarianceNorm_AVERAGE) {
      n = (fan_in + fan_out) / Dtype(2);
    } else if (this->filler_param_.variance_norm() ==
        FillerParameter_VarianceNorm_FAN_OUT) {
      n = fan_out;
    }
    Dtype scale = sqrt(Dtype(3) / n);
    caffe_rng_uniform<Dtype>(blob->count(), -scale, scale,
        blob->mutable_cpu_data());
    CHECK_EQ(this->filler_param_.sparse(), -1)
         << "Sparsity not supported by this Filler.";
  }
};

由上面可以看出,caffe的Xavier实现有三种选择

(1) 默认情况,方差只考虑输入个数:
这里写图片描述

(2) FillerParameter_VarianceNorm_FAN_OUT,方差只考虑输出个数:
这里写图片描述

(3) FillerParameter_VarianceNorm_AVERAGE,方差同时考虑输入和输出个数:
这里写图片描述

之所以默认只考虑输入,我个人觉得是因为前向信息的传播更重要一些

14
2
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

系统学习深度学习(十四)--权重初始化Xavier

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforw...
  • App_12062011
  • App_12062011
  • 2017-02-27 09:55
  • 3531

深度学习之参数初始化(一)——Xavier初始化

Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua ...
  • VictoriaW
  • VictoriaW
  • 2017-06-10 18:28
  • 2863

深度学习——Xavier初始化方法

原文地址: http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法,方...
  • zr459927180
  • zr459927180
  • 2016-06-03 10:43
  • 1705

深度学习——Xavier初始化方法

原文链接:http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年...
  • jiachen0212
  • jiachen0212
  • 2017-11-19 10:29
  • 71

深度学习-网络Xavier初始化方法

reference: http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法,方法...
  • u011534057
  • u011534057
  • 2016-12-29 16:57
  • 528

深度学习之参数初始化(一)——Xavier初始化

Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua ...
  • VictoriaW
  • VictoriaW
  • 2017-06-10 18:28
  • 2863

深度学习笔记——基于双向RNN(LSTM、GRU)和Attention Model的句子对匹配方法

本文主要是结合RNN和Attention Model做一些关于句子对匹配的模型总结。
  • mpk_no1
  • mpk_no1
  • 2017-08-06 23:06
  • 1531

深度学习方法(十一):卷积神经网络结构变化——Google Inception V1-V4,Xception(depthwise convolution)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、机器学习技术感兴趣的同学加入。上一篇讲了深度学习方法(十...
  • xbinworld
  • xbinworld
  • 2017-03-15 23:30
  • 9909

深度学习笔记——基于Word2vec和Doc2vec的句子对匹配方法

句子对匹配(Sentence Pair Matching)问题是NLP中非常常见的一类问题,所谓“句子对匹配”,就是说给定两个句子S1和S2,任务目标是判断这两个句子是否具备某种类型的关系。本文是一个...
  • mpk_no1
  • mpk_no1
  • 2017-06-01 22:39
  • 1624

深度学习——sgd等优化方法比较

1、adagrad相比于sgd和momentum更加稳定,即不需要怎么调参。 2、精调的sgd和momentum系列方法无论是收敛速度还是precision都比adagrad要好一些。 3、在精调参数...
  • zchang81
  • zchang81
  • 2017-04-17 15:43
  • 919
    个人资料
    • 访问:589329次
    • 积分:6427
    • 等级:
    • 排名:第4403名
    • 原创:133篇
    • 转载:11篇
    • 译文:1篇
    • 评论:517条