对话系统论文集（9）-DDQ系统

问题：
与用户交互太奢侈；而simulator的设计过于简单，可能使得agent的能力下降。
背景：
simulator没有验证标准；
planning：

那w-model和传统的simulator有何区别？

创新点：
将planning learning应用到dialogue中:
planning learning:
https://zhuanlan.zhihu.com/p/44614570
提出world-model（类似和simulator），学习用户的回答；用来更新agent

具体过程：
1）agent使用user的历史数据，RL，改进（到底是online还是off-line？？）
即agent与真实用户交互，收集真实对话经验，完善对话策略;
2）通过上面收集到的真实对话数据进行改进w-model（SL），即simulator
3）agent和simulator交互，改进，

---

2）中w-model的产生过程：


实验结果：