SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

这篇文章是在GAN的基础上加入了pg策略，从而可以进行文本等离散数据的生成与处理。

看一遍文章倒是不需要多少时间，但是看代码花费了大量时间。感觉有代码的还是收获要多一些。

GAN之所以无法对离散数据进行很好的生成，是因为:离散输出使得从d到g的梯度难以传递。（微小的变化引起的改变，可能没有与之对应的标签）。同时也只有当d得到一个完整的数据的时候，才可以进行判断。部分完成的无法给出评分。

这里面处理数据的时候有一个问题，那么就是不完整数据无法使用D进行评价，因此本文使用的是一种稍微妥协的方法。

我们根据已有状态进行一个MCsearch随后这个状态去获得一个结果，而假设一段文本具有L长度，那么前L-1长度都需要进行这个MC search，最后一个L长度是完整的，最后在进行取平均值操作，就可以得到最后的结果。（如下）

对于G，有两个损失函数，一种是有监督的，一种是无监督的，有监督的情况下，也就是传入的数据为positive的数据，那么此时

我们直接从进行embedding，随后直接算出每个数据在LSTM中出现的概率，直接最大化（概率*选择的动作（onehot））即可。

无监督的情况下，最大的区别就是乘上了一个reward，也就是pg的部分了。

也就是pretrain G使用 MLE（maximum likelihood estimation）

评分也就是

 

下面是我看了源码以后写的笔记：