Tensorflow学习笔记——initializer（参数初始化）

1. tf.constant_initializer()

也可以简写为tf.Constant()
初始化为常数，这个非常有用，通常偏置项就是用它初始化的。
由它衍生出两个初始化方法：

• tf.zero_initializer()，也可以简写为tf.Zeros()
• tf.ones_initializer()，也可以简写为tf.Ones()

示例：在卷积层中，将偏置项b初始化为0，则有多种写法：

conv1 = tf.layers.conv2d(
	batch_images,
	filters=64,
	kernel_size=7,
	strides=2,
	activation=tf.nn.relu,
	kernel_initializer=tf.TruncatedNormal(stddev=0.01),
	bias_initializer=tf.Constant(0),
	)

或者：

bias_initializer=tf.constant_initializer(0)

或者：

bias_initializer=tf.zeros_initializer()

或者：

bias_initializer=tf.Zeros()

示例：如何将W初始化为拉普拉斯算子？

value = [1, 1, 1, 1, -8, 1, 1, 1，1]
init = tf.constant_initializer(value)
W = tf.get_variable('W', shape=[3, 3], initializer=init)

2. tf.truncated_normal_initializer()

或者简写为tf.TruncatedNormal()
生成截断正态分布的随机数，这个初始化方法好像在tf中用的比较多。
它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32），分别用于指定均值、标准差、随机数种子和随机数的数据类型，一般只需要设置stddev这一个参数就行。

示例：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
                         bias_initializer=tf.zero_initializer(),
                        )

3. tf.random_normal_initializer()

可以简写为tf.RandomNormal()
生成标准正太分布的随机数，参数和tf.truncated_normal_initializer()一样

4. tf.random_uniform_initializer()

可简写为tf.RandomUniform()
生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，最大值，随机数种子和类型。

Reference:
https://blog.csdn.net/y_j_y_/article/details/79355309