这篇文章是在GAN的基础上加入了pg策略,从而可以进行文本等离散数据的生成与处理。
看一遍文章倒是不需要多少时间,但是看代码花费了大量时间。感觉有代码的还是收获要多一些。
GAN之所以无法对离散数据进行很好的生成,是因为:离散输出使得从d到g的梯度难以传递。(微小的变化引起的改变,可能没有与之对应的标签)。同时也只有当d得到一个完整的数据的时候,才可以进行判断。部分完成的无法给出评分。
这里面处理数据的时候有一个问题,那么就是不完整数据无法使用D进行评价,因此本文使用的是一种稍微妥协的方法。
我们根据已有状态进行一个MCsearch随后这个状态去获得一个结果,而假设一段文本具有L长度,那么前L-1长度都需要进行这个MC search,最后一个L长度是完整的,最后在进行取平均值操作,就可以得到最后的结果。(如下)
对于G,有两个损失函数,一种是有监督的,一种是无监督的,有监督的情况下,也就是传入的数据为positive的数据,那么此时
我们直接从进行embedding,随后直接算出每个数据在LSTM中出现的概率,直接最大化(概率*选择的动作(onehot))即可。
无监督的情况下,最大的区别就是乘上了一个reward,也就是pg的部分了。
也就是pretrain G使用 MLE(maximum likelihood estimation)
评分也就是
下面是我看了源码以后写的笔记: