tensorflow的几种参数初始化方法

在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法

1.  tf.constant_initializer() 常数初始化
2.  tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均匀分布初始化
5. tf.random_normal_initializer() 正态分布初始化
6. tf.truncated_normal_initializer() 截断正态分布初始化
7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数
8. tf.variance_scaling_initializer() 自适应初始化
9. tf.orthogonal_initializer() 生成正交矩阵

具体的
1、tf.constant_initializer(),它的简写是tf.Constant()

1. tf.constant_initializer(),它的简写是tf.Constant()
#coding:utf-8
import numpy as np 
import tensorflow as tf 
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
    val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
    const_init = tf.constant_initializer(val)
    embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
    embed = tf.nn.embedding_lookup(embeddings, train_inputs)                          #在embedding中查找train_input所对应的表示
    print("embed",embed)
    sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(initall)
    print(sess.run(embed))
    print(sess.run(tf.shape(embed)))
    print(sess.run(sum_embed))

4、random_uniform_initializer = RandomUniform()

4.random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。

6、tf.truncated_normal_initializer()

6. tf.truncated_normal_initializer() 简写tf.TruncatedNormal()
生成截断正态分布的随机数,这个初始化方法在tf中用得比较多。
它有四个参数(mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32),分别用于指定均值、标准差、随机数种子和随机数的数据类型,一般只需要设置stddev这一个参数就可以了。

8、tf.variance_scaling_initializer()


8.tf.variance_scaling_initializer()

可简写为tf.VarianceScaling()

参数为(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32)

scale: 缩放尺度(正浮点数)

mode:  "fan_in", "fan_out", "fan_avg"中的一个,用于计算标准差stddev的值。

distribution:分布类型,"normal"或“uniform"中的一个。

当 distribution="normal" 的时候,生成truncated normal   distribution(截断正态分布) 的随机数,其中stddev = sqrt(scale / n) ,n的计算与mode参数有关。

      如果mode = "fan_in", n为输入单元的结点数;         

      如果mode = "fan_out",n为输出单元的结点数;

       如果mode = "fan_avg",n为输入和输出单元结点数的平均值。

当distribution="uniform”的时候 ,生成均匀分布的随机数,假设分布区间为[-limit, limit],则 limit = sqrt(3 * scale / n)

  • 3
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是几种常见的分类器参数初始化代码: 1. 随机初始化: ```python import tensorflow as tf # 初始化分类器1的参数 with tf.variable_scope('classifier_1'): w1 = tf.get_variable('w1', shape=[input_size, hidden_size], initializer=tf.random_normal_initializer()) b1 = tf.get_variable('b1', shape=[hidden_size], initializer=tf.zeros_initializer()) w2 = tf.get_variable('w2', shape=[hidden_size, num_classes], initializer=tf.random_normal_initializer()) b2 = tf.get_variable('b2', shape=[num_classes], initializer=tf.zeros_initializer()) # 初始化分类器2的参数 with tf.variable_scope('classifier_2'): w1 = tf.get_variable('w1', shape=[input_size, hidden_size], initializer=tf.random_normal_initializer()) b1 = tf.get_variable('b1', shape=[hidden_size], initializer=tf.zeros_initializer()) w2 = tf.get_variable('w2', shape=[hidden_size, num_classes], initializer=tf.random_normal_initializer()) b2 = tf.get_variable('b2', shape=[num_classes], initializer=tf.zeros_initializer()) ``` 2. 预训练模型初始化: ```python import tensorflow as tf # 加载预训练模型 pretrained_model = 'path/to/pretrained_model.ckpt' saver = tf.train.Saver() sess = tf.Session() saver.restore(sess, pretrained_model) # 使用预训练模型初始化分类器1的参数 with tf.variable_scope('classifier_1', reuse=True): w1 = tf.get_variable('w1') b1 = tf.get_variable('b1') w2 = tf.get_variable('w2') b2 = tf.get_variable('b2') # 使用预训练模型初始化分类器2的参数 with tf.variable_scope('classifier_2', reuse=True): w1 = tf.get_variable('w1') b1 = tf.get_variable('b1') w2 = tf.get_variable('w2') b2 = tf.get_variable('b2') ``` 3. 共享参数初始化: ```python import tensorflow as tf # 共享参数初始化 w1 = tf.get_variable('w1', shape=[input_size, hidden_size], initializer=tf.random_normal_initializer()) b1 = tf.get_variable('b1', shape=[hidden_size], initializer=tf.zeros_initializer()) w2 = tf.get_variable('w2', shape=[hidden_size, num_classes], initializer=tf.random_normal_initializer()) b2 = tf.get_variable('b2', shape=[num_classes], initializer=tf.zeros_initializer()) # 初始化分类器1的参数 with tf.variable_scope('classifier_1'): classifier_1_w1 = w1 classifier_1_b1 = b1 classifier_1_w2 = w2 classifier_1_b2 = b2 # 初始化分类器2的参数 with tf.variable_scope('classifier_2'): classifier_2_w1 = w1 classifier_2_b1 = b1 classifier_2_w2 = w2 classifier_2_b2 = b2 ``` 以上是三种常见的分类器参数初始化代码,需要根据具体的需求进行选择和修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值