问题:需要on-line模式,与用户进行交互从而更好的学习。
背景:以往都是SL,而且都是simulator
创新点:
1)提出on-line,根据用户的反馈更新policy,在下一轮(batch/episode)得到新的用户反馈。
2)使用亚马逊的人工训练集。
实现上,使用了MEMORY network,
在传统的RL方法基础上,应用FP(根据对话历史C,user的提问,agent的回答,给出可能的text reward,然后最小化两个reward之间的差值。)
实验结果:不是很重要,对我的帮助不大。只是将on-line的知识用到原来没用过的地方。不同领域的方法迁移。