【论文摘要】Bayes-Adaptive Monte-Carlo Planning and Learning for Goal-Oriented Dialogues

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正

戳我看论文原文

论文背景

1.战略对话任务（谈判）：模型有着一定的任务，通过生成语言来与其它模型进行谈判，最终达到自己利益的最大化。

2.该任务上的强化学习：先训练模型的语言能力，然后利用强化学习增强模型的决策能力，希望模型学会如何决策，从而生成带有策略的回复。

3.朴素的强化学习势必会让模型慢慢的偏离人类语言。

4.贝叶斯推断和蒙特卡洛树搜索决策，本文将不会讨论两个算法的细节，也不会展开说明论文如何应用两个算法（尽力了，真的是get不到论文的点QAQ）。

具体问题描述

有三种物品若干，两个agent分别有一个物品喜好值，它们互相不知道对方的喜好值，通过生成语言谈判，最后两个agent做出决策，依据谈判成果拿走各自的物品，获得的收益为三种物品喜好值乘物品数量的加和。如果二者拿的物品有冲突，则两个agent的收益都为0。

论文方法

1.将模型分为两部分，分别为语言生成部分和最终决策部分，现在数据集上进行预训练。

2.使用Bayes-Adaptive Monte-Carlo Planning生成指标来让模型强化学习。

3.蒙特卡洛搜索的每一个状态都是由生成模型生成出来的语句，因此不会让模型偏离人类语言太大（？？？）

效果

超过了STOA，使用论文提出的方法进行增强学习提升了模型的得分能力，在这个前提下模型还可以产生较为流畅的对话。

个人总结

\quad 这是目前为止写的最短的一篇，主要的原因是我确实没有get到作者的一些意图，论文的研究内容非常的吸引人，但是个人感觉就是需要语言的博弈过程，而且论文很少提到设计语言模型的部分，大部分的篇幅也都在讨论博弈算法的细节，使用到的NLP知识非常有限。但总的来说，语言模型增强学习这块确实是一个不错的领域，算是开阔了视野吧。