Outline
Conditional Sequence Generation
用GAN的技术来train seq2seq
之前传统方法的问题:
今天会介绍两个提升的方法:
1.强化学习
2.GAN
RL (human feedback)
引入强化学习的方法:
思想:
最大化预期奖励
对期望reward进行变形,没有θ
先对有θ的项求gradient,再使用最后的式子来做approximate
具体含义:
流程:
和之前进行对比
人的精力是有限的,和不让两个ML自己对话呢
GAN (discriminator feedback)
有条件的GAN可以做到这个事情
算法流程:
没有办法微分怎么办?
三个解决不能微分的办法:
Gumbel-softmax
见paper
Continuous Input for Discriminator
直接避开
新的问题用WGAN解决
Reinforcement Learning
用强化学习的方法解决
训练流程:
会出现的问题:
解决办法:
结果展示:
Unsupervised Conditional Sequence Generation
Text Style Transfer
之前的思想套用
对图像的CycleGAN
图像换成文本
文本不能微分怎么办
结果展示
另外一种方法
我们之前将人像和漫画之间进行转换
也可以用这个方法来做文本转换
Unsupervised Abstractive Summarization
关于摘要总结
document看作domainX,summary看作domainY
第一种理解
cycle GAN思想
minimize the reconstruction error
第二种理解
另外一种理解
让其可读
结果展示:
结果对比:
Unsupervised Translation
同样的思想
也是可行的
语言之间转换
结果展示: