记录一次与大神们的关于GAN应用于NLP的讨论

保留初心，砥砺前行

说实话，是聆听了大神们，本人只是捧哏似的嗯、啊了几句。

之前paperweekly的GAN讨论组要进行一次讨论，给出了很多议题进行投票。里边有GAN in NLP、GAN and RL、半监督GAN等我比较感兴趣的话题。也有图像相关的关于GAN的正统问题。

没想到最后GAN in NLP获得了最多的票数。我原来对于把GAN应用于NLP叫做剑走偏锋，没想到志同道合的人这么多…

接下来是对讨论内容的完全记录，本文的最后是本人的一点点感悟。

下边的讨论问题与解答有些是文不对题的，首先是因为按照发言顺序整理，难免有插话的存在；第二，因为在讨论中大家的关注点比较集中，很多问题的讨论最后都会归纳到几个矛盾点上；还有就是有些内容关注的人并不是很多，因此也没有讨论出什么结果。另外，下边的问题有主题人按照议程提出的，有的是在讨论过程中同学们提出的。

最后，以下记录不代表本人立场，也不代表正确的解答。只是讨论记录。

• 第一个问题: GAN目前在NLP中都尝试了哪些任务，主要思路是怎样的，效果如何？

A:有对话系统的，有纯文本生成的，有机器翻译的，也有IR的，越来越多的尝试。
B:还有做中文分词，文本分类的。
C:纯文本又可以做各种奇怪的任务，还有诗歌生成什么的。
D:见过有写唐诗的。
E:主要思路都是考虑d用来做真假判别，然后用rl的policy  gradient的方式来打分和更新。

• 为什么采用policy gradient，而不是直接用gradient?

A:这感觉是NLP本身的一个难点，很多应用还缺乏非常合理的评价标准。
B:D本身就是作为一个判别器，所以说概率输出，就是这个概率作为分数。
C:因为文本是离散的，不能传导吧。
D:因为离散的序列在梯度微调时没有意义。
E:做过一些字符级生成的例子，效果不太好。
F:还是在原有任务上加rl效果比较好。
G:即使用的是word2vec之类连续的，微调之后可能得到一个什么都不代表的向量。
H:policy gradient的bias会比较大吧？
I:在文本生成里面，尤其是用了word2vec的。我这边提一个问题，我也不知道业界有没有方案。就是生成的向量是在空间里的，基本不可能对应到有意义的点（word），那么只能取最近的，那么如果这个向量做了优化，对GAN来说是非常敏感的，也许判别器就更难判断了，但是对词典里的词，是不敏感的，也许距离这个生成的向量的距离的排序没有改变。

• 那么，如何才能降低GAN的敏感度呢？让优化更有意义
  …

• 目前GAN 在 NLP问题上的效果有多好?