基于对抗学习的生成式对话模型——讲座(三角兽) 量子位沙龙

吴恩达 有新出的coursera课程
量子位

1、两种技术路线

• 基于检索
  流程：问题：回答：排序
  短文本相似性、短文本相关性
• 基于生成模型
  端到端，给定输入，生成结果

2、生成式聊天溯源

SMT—-NMT—–NRG
统计机器翻译（问答是翻译的一种特殊情况）
神经机器翻译
Neural Response Generation

3、NRG面临问题

安全回复问题
效率问题等

4、安全回复的产生原因

1、产生原因

• 词语概率分布问题，高频句频繁产生
• Generator陷入不合理优化状态

2、提高结果多样性方法

• 判别模型“提醒”生产模型什么回复是好的

5、引入GAN解决上述问题

类比：警察和造假

1、文本生成中用GAN的问题

• 由于离散采样，导致反向传播中断

• 现有解决方法：强化学习

强化学习的问题在于很难控制。本来对抗学习的收敛状态就不是很好把握，因此存在一定问题。

• 直面不可导问题：GAN-AEL
  近似Embedding层

6、评价方法