Tensorflow七种初始化函数

一、tf.constant_initializer(value)
作用：将变量初始化为给定的常量，初始化一切所提供的值。

二、tf.zeros_initializer()
作用：将变量设置为全0；也可以简写为tf.Zeros()

三、tf.ones_initializer()
作用：将变量设置为全1；可简写为tf.Ones()

四、tf.random_normal_initializer(mean,stddev)
作用：将变量初始化为满足正太分布的随机值，主要参数（正太分布的均值和标准差），用所给的均值和标准差初始化均匀分布。

五、tf.truncated_normal_initializer(mean,stddev,seed,dtype)
作用：将变量初始化为满足正太分布的随机值，但如果随机出来的值偏离平均值超过2个标准差，那么这个数将会被重新随机。
mean:用于指定均值；
stddev用于指定标准差；
seed:用于指定随机数种子；
dtype：用于指定随机数的数据类型。通常只需要设定一个标准差stddev这一个参数就可以。

举例：bert中初始化token_type_embeddings、embedding_table时，假设token_type_embeddings服从正态分布

六、tf.random_uniform_initializer(a,b,seed,dtype)
作用：从a到b均匀初始化，将变量初始化为满足均匀分布的随机值，主要参数（最大值，最小值）。

七、tf.uniform_unit_scaling_initializer(factor,seed,dtypr)
作用：将变量初始化为满足均匀分布但不影响输出数量级的随机值