tensorflow中control_flow_ops.while_loop

self.h0 = tf.zeros([self.batch_size, self.hidden_dim])
self.h0 = tf.stack([self.h0, self.h0])  ## 相当于 h0和C0

 # generator on initial randomness 
 gen_o = tensor_array_ops.TensorArray(dtype=tf.float32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
 gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)

 def _g_recurrence(i, x_t, h_tm1, gen_o, gen_x): 
     h_t = self.g_recurrent_unit(x_t, h_tm1)  # hidden_memory_tuple, h_t其实包含h_t和c_t, tm1即是t减去1
     o_t = self.g_output_unit(h_t)  # batch x vocab , logits
     log_prob = tf.log(tf.nn.softmax(o_t)) 
     next_token = tf.cast(tf.reshape(tf.multinomial(log_prob, 1), [self.batch_size]), tf.int32) ## next_token的shape是[batch]
     x_tp1 = tf.nn.embedding_lookup(self.g_embeddings, next_token)  # batch x emb_dim
     gen_o = gen_o.write(i, tf.reduce_sum(tf.multiply(tf.one_hot(next_token, self.num_emb, 1.0, 0.0), tf.nn.softmax(o_t)), 1))
     gen_x = gen_x.write(i, next_token)  # indices, batch_size
     return i + 1, x_tp1, h_t, gen_o, gen_x  ## x_tp1其实就是p就是Plus

 _, _, _, self.gen_o, self.gen_x = control_flow_ops.while_loop(
     cond=lambda i, _1, _2, _3, _4: i < self.sequence_length, ## cond的值要么为True或者为False 
     body=_g_recurrence,
     loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)  
     )

这段代码出自文章《SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient》源码模块target_lstm.py中,我其实是不太明白control_flow_ops.while_loop的用法,琢磨后为避免忘记特记录在此。

代 码 是 1 、 2 行 : \color{red}{代码是1、2行:} 12:
lstm或gru执行的初始状态

代 码 第 6 行 : \color{red}{代码第6行:} 6
gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
TensorArray可以看做是具有动态size功能的Tensor数组。通常都是跟while_loop或map_fn结合使用。
我是不是可以理解成一个list,在代码第15行的时候即是将新生成的next_token写入到gen_x中
代 码 第 15 行 : \color{red}{代码第15行:} 15
gen_x = gen_x.write(i, next_token)
指定index位置写入Tensor, 我觉得write就类似与python中list的append方法,将生成的next_token存储到gen_x中
代 码 第 19 行 : \color{red}{代码第19行:} 19
cond=lambda i, _1, _2, _3, _4: i < self.sequence_length
这行代码是while_loop执行的条件,如果 i < self.sequence_length条件满足, 则cond=True, 执行control_flow_ops.while_loop这个循环,再看lambda表达式,其可以有任意多个形参,在这个表达式里有五个,分别是 i, _1, _2, _3, _4, 为什么是五个参数呢?这里暂且不说(问题1)

代 码 第 20 行 : \color{red}{代码第20行:} 20
body=_g_recurrence
循环主体,_g_recurrence函数已经定义(第8行到第16行),这个函数需要传入5个参数,所以在cand这个条件中需要定义5个形参(问题1的答案),如果cand = True, 就一直执行body,需要注意一点的,每次执行_g_recurrence这个body时参数的参数是不同的,是上一步执行的结果作为本次传入的参数

代 码 第 21 行 : \color{red}{代码第21行:} 21
loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)
loop_vars是循环起始参数,这五个是实参,对应与cand中五个形参

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值