tensorflow中control_flow_ops.while_loop

转自：https://blog.csdn.net/appleml/article/details/89643841

self.h0 = tf.zeros([self.batch_size, self.hidden_dim])
self.h0 = tf.stack([self.h0, self.h0])  ## 相当于 h0和C0

 # generator on initial randomness 
 gen_o = tensor_array_ops.TensorArray(dtype=tf.float32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
 gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)

 def _g_recurrence(i, x_t, h_tm1, gen_o, gen_x): 
     h_t = self.g_recurrent_unit(x_t, h_tm1)  # hidden_memory_tuple, h_t其实包含h_t和c_t, tm1即是t减去1
     o_t = self.g_output_unit(h_t)  # batch x vocab , logits
     log_prob = tf.log(tf.nn.softmax(o_t)) 
     next_token = tf.cast(tf.reshape(tf.multinomial(log_prob, 1), [self.batch_size]), tf.int32) ## next_token的shape是[batch]
     x_tp1 = tf.nn.embedding_lookup(self.g_embeddings, next_token)  # batch x emb_dim
     gen_o = gen_o.write(i, tf.reduce_sum(tf.multiply(tf.one_hot(next_token, self.num_emb, 1.0, 0.0), tf.nn.softmax(o_t)), 1))
     gen_x = gen_x.write(i, next_token)  # indices, batch_size
     return i + 1, x_tp1, h_t, gen_o, gen_x  ## x_tp1其实就是p就是Plus

 _, _, _, self.gen_o, self.gen_x = control_flow_ops.while_loop(
     cond=lambda i, _1, _2, _3, _4: i < self.sequence_length, ## cond的值要么为True或者为False 
     body=_g_recurrence,
     loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)  
     )

 

这段代码出自文章《SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient》源码模块target_lstm.py中，我其实是不太明白control_flow_ops.while_loop的用法，琢磨后为避免忘记特记录在此。

代码是1、2行: \color{red}{代码是1、2行:}代码是1、2行:
lstm或gru执行的初始状态

代码第6行： \color{red}{代码第6行：}代码第6行：
gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
TensorArray可以看做是具有动态size功能的Tensor数组。通常都是跟while_loop或map_fn结合使用。
我是不是可以理解成一个list，在代码第15行的时候即是将新生成的next_token写入到gen_x中
代码第15行： \color{red}{代码第15行：}代码第15行：
gen_x = gen_x.write(i, next_token)
指定index位置写入Tensor, 我觉得write就类似与python中list的append方法，将生成的next_token存储到gen_x中
代码第19行： \color{red}{代码第19行：}代码第19行：
cond=lambda i, _1, _2, _3, _4: i < self.sequence_length
这行代码是while_loop执行的条件，如果 i < self.sequence_length条件满足, 则cond=True, 执行control_flow_ops.while_loop这个循环，再看lambda表达式，其可以有任意多个形参，在这个表达式里有五个，分别是 i, _1, _2, _3, _4, 为什么是五个参数呢？这里暂且不说（问题1）

代码第20行： \color{red}{代码第20行：}代码第20行：
body=_g_recurrence
循环主体，_g_recurrence函数已经定义（第8行到第16行），这个函数需要传入5个参数，所以在cand这个条件中需要定义5个形参（问题1的答案），如果cand = True, 就一直执行body，需要注意一点的，每次执行_g_recurrence这个body时参数的参数是不同的，是上一步执行的结果作为本次传入的参数

代码第21行： \color{red}{代码第21行：}代码第21行：
loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)
loop_vars是循环起始参数，这五个是实参，对应与cand中五个形参
--------------------- 
作者：小妖精Fsky 
来源：CSDN 
原文：https://blog.csdn.net/appleml/article/details/89643841 
版权声明：本文为博主原创文章，转载请附上博文链接！