（Caffe）基本类Filter（五）

最新推荐文章于 2024-07-04 09:58:48 发布

沤江一流

最新推荐文章于 2024-07-04 09:58:48 发布

阅读量6.9k

点赞数

分类专栏： Caffe 文章标签： Caffe

本文链接：https://blog.csdn.net/mounty_fsc/article/details/51699568

版权

Caffe 专栏收录该内容

15 篇文章 7 订阅

订阅专栏

本文地址:http://blog.csdn.net/mounty_fsc/article/details/51699568

Filter类在Caffe中用来初始化权值大小，有如下表的类型：

类型	派生类	说明
constant	ConstantFiller	使用一个常数（默认为0）初始化权值
gaussian	GaussianFiller	使用高斯分布初始化权值
positive_unitball	PositiveUnitballFiller
uniform	UniformFiller	使用均为分布初始化权值
xavier	XavierFiller	使用xavier算法初始化权值
msra	MSRAFiller
bilinear	BilinearFiller

1 xavier

使用分布 $x \sim U(-\sqrt{3/n}, +\sqrt{3/n})$ 初始化权值 $w$ 为。总的来说 $n$ 的值为输入输出规模相关，公式如下:

n = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ f a n_i n f a n _ i n + f a n _ o u t 2 f a n_o u t d e f a u l t v a r i a n c e_n o r m = A V E R A G E v a r i a n c e_n o r m = F A N_O U T

$n=\left \{ \begin{aligned} & fan\_in &default \\ & \frac{fan\_in + fan\_out}{2} & variance\_norm=AVERAGE \\ & fan\_out & variance\_norm=FAN\_OUT \end{aligned} \right.$