tensorflow中初始化函数

Tensorflow 提供了7种不同的初始化函数：

初始化函数	功能	主要参数
tf.constant_initializer	将变量初始化为给定常量	常量的取值（tf.constant_initializer(value)）
tf.random_normal_initializer	将变量初始化为满足正态分布的随机值	正态分布的均值和标准差 （tf.random_normal_initializer（mean=0.0, stddev=1.0, seed=None, dtype=tf.float32））
tf.truncated_normal_initializer	将变量初始化为满足正态分布的随机值，但如果随机出的 值偏离平均值超过2个标准差，那么这个数将会被重新随机	正态分布的均值和标准差 These values are similar to values from a `random_normal_initializer`
tf.random_uniform_initializer	将变量初始化为满足平均分布的随机值	最大、最小值，__init__(self, minval=0, maxval=None, seed=None, dtype=tf.float32)
tf.uniform_unit_scaling_initializer	将变量初始化为满足平均分布但不影响输出数量级的随机值	factor（产生随机值时乘以的系数），__init__(self, factor=1.0, seed=None, dtype=tf.float32)
tf.zeros_initializer	将变量设置为全0	变量维度
tf.ones_initializer	将变量设置为全1	变量维度

 

 

 

 

 

 

 

 

 

 

 

 

tf.constant_initializer(value) #将变量初始化为给定的常量,初始化一切所提供的值。

?

1 2 3

假设在卷积层中，设置偏执项b为0，则写法为: 1. bias_initializer=tf.constant_initializer(0) 2. bias_initializer=tf.zeros_initializer(0)

tf.random_normal_initializer(mean,stddev) #功能是将变量初始化为满足正太分布的随机值，主要参数（正太分布的均值和标准差），用所给的均值和标准差初始化均匀分布

tf.truncated_normal_initializer(mean,stddev,seed,dtype) #功能：将变量初始化为满足正太分布的随机值，但如果随机出来的值偏离平均值超过2个标准差，那么这个数将会被重新随机

?

1 2	mean:用于指定均值；stddev用于指定标准差；seed:用于指定随机数种子；dtype：用于指定随机数的数据类型。 通常只需要设定一个标准差stddev这一个参数就可以。

tf.random_uniform_initializer(a,b,seed,dtype) #从a到b均匀初始化，将变量初始化为满足平均分布的随机值，主要参数（最大值，最小值）

tf.uniform_unit_scaling_initializer(factor,seed,dtypr) #将变量初始化为满足平均分布但不影响输出数量级的随机值

?

1 2 3

max_val=math.sqrt(3/input_size)*factor; input_size指输入数据的维数，假设输入为x,计算为x*w,则input_size=w.shape[0]. 其分布区间为[-max_val,max_val]

tf.zeros_initializer() #将变量设置为全0；也可以简写为tf.Zeros()

tf.ones_initializer() #将变量设置为全1；可简写为tf.Ones()