任务型对话对话策略学习的强化学习方法

任务型对话(TOD)系统旨在帮助用户解决从天气咨询到计划安排的一系列问题。完成任务的途径有二。

其一是端到端途径：直接将当前对话内容与系统的自然语言反映相关联。此种方法多是采用序列到序列的模型，然后进行监督训练。

第二种是模组途径：将系统分为四个相互依存的的组成部分：自然语言理解(NLU)、对话状态追踪(DST)、对话策略学习(DPL)和自然语言生成(NLG)，如图1所示。

两种方法都有各自的优劣。端到端途径更灵活且对数据注释的需求更少。但却需要大量数据，且其黑盒结构完全不进行说明与控制。相反，模组途径更易理解和实施。尽管整个系统很难进行整体优化，但大部分商业对话系统都更倾向于管道途径。本文的研究也是对模组途径进行综述并总结对话策略学习的当前进展。文章会简单介绍管道途径四个模块的不同功能，然后对对话策略学习模块进行进一步说明。

四个模块中，NLU旨在将输入句子的意图和槽位识别为第一个直接与用户交互的模块。然后，DST将先前提取出的所有意图和槽位作为一个内部对话状态来呈现。接着，DPL模块根据输入的状态采取行动，来满足用户需求。最后，NLG模块将行动转变为自然语言形式并输出。在管道途径中，DPL是联系DST模块和NLG模块的中间纽带，直接关系到对话系统的成败，故相当重要。

当前，强化学习(RL)算法的发展极大推动了DPL研究的发展。列文等人(Levin et al.)是第一个把DPL当作马尔可夫决策过程(MDP)问题处理的团队。他们列出了将DPL建模为一个MDP问题的复杂度，并证明了将RL算法用于优化对话策略