self.h0 = tf.zeros([self.batch_size, self.hidden_dim])
self.h0 = tf.stack([self.h0, self.h0]) ## 相当于 h0和C0
# generator on initial randomness
gen_o = tensor_array_ops.TensorArray(dtype=tf.float32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
def _g_recurrence(i, x_t, h_tm1, gen_o, gen_x):
h_t = self.g_recurrent_unit(x_t, h_tm1) # hidden_memory_tuple, h_t其实包含h_t和c_t, tm1即是t减去1
o_t = self.g_output_unit(h_t) # batch x vocab , logits
log_prob = tf.log(tf.nn.softmax(o_t))
next_token = tf.cast(tf.reshape(tf.multinomial(log_prob, 1), [self.batch_size]), tf.int32) ## next_token的shape是[batch]
x_tp1 = tf.nn.embedding_lookup(self.g_embeddings, next_token) # batch x emb_dim
gen_o = gen_o.write(i, tf.reduce_sum(tf.multiply(tf.one_hot(next_token, self.num_emb, 1.0, 0.0), tf.nn.softmax(o_t)), 1))
gen_x = gen_x.write(i, next_token) # indices, batch_size
return i + 1, x_tp1, h_t, gen_o, gen_x ## x_tp1其实就是p就是Plus
_, _, _, self.gen_o, self.gen_x = control_flow_ops.while_loop(
cond=lambda i, _1, _2, _3, _4: i < self.sequence_length, ## cond的值要么为True或者为False
body=_g_recurrence,
loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)
)
这段代码出自文章《SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient》源码模块target_lstm.py中,我其实是不太明白control_flow_ops.while_loop的用法,琢磨后为避免忘记特记录在此。
代
码
是
1
、
2
行
:
\color{red}{代码是1、2行:}
代码是1、2行:
lstm或gru执行的初始状态
代
码
第
6
行
:
\color{red}{代码第6行:}
代码第6行:
gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
TensorArray可以看做是具有动态size功能的Tensor数组。通常都是跟while_loop或map_fn结合使用。
我是不是可以理解成一个list,在代码第15行的时候即是将新生成的next_token写入到gen_x中
代
码
第
15
行
:
\color{red}{代码第15行:}
代码第15行:
gen_x = gen_x.write(i, next_token)
指定index位置写入Tensor, 我觉得write就类似与python中list的append方法,将生成的next_token存储到gen_x中
代
码
第
19
行
:
\color{red}{代码第19行:}
代码第19行:
cond=lambda i, _1, _2, _3, _4: i < self.sequence_length
这行代码是while_loop执行的条件,如果 i < self.sequence_length条件满足, 则cond=True, 执行control_flow_ops.while_loop这个循环,再看lambda表达式,其可以有任意多个形参,在这个表达式里有五个,分别是 i, _1, _2, _3, _4, 为什么是五个参数呢?这里暂且不说(问题1)
代
码
第
20
行
:
\color{red}{代码第20行:}
代码第20行:
body=_g_recurrence
循环主体,_g_recurrence函数已经定义(第8行到第16行),这个函数需要传入5个参数,所以在cand这个条件中需要定义5个形参(问题1的答案),如果cand = True, 就一直执行body,需要注意一点的,每次执行_g_recurrence这个body时参数的参数是不同的,是上一步执行的结果作为本次传入的参数
代
码
第
21
行
:
\color{red}{代码第21行:}
代码第21行:
loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)
loop_vars是循环起始参数,这五个是实参,对应与cand中五个形参