【论文泛读175】迈向通过基于文本的自然语言进行交流的协作强化学习代理

贴一下汇总贴：论文阅读记录

论文链接：《Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language》

一、摘要

协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文将基于文本的自然语言视为经过强化学习训练的多个代理之间的一种新型通信形式。这可以被视为迈向真正自主通信的第一步，无需定义有限的指令集，以及人与机器人之间的自然协作。受 Blind Leads 游戏的启发，我们提出了一种环境，其中一个智能体使用自然语言指令引导另一个智能体穿越迷宫。我们测试了强化学习代理通过离散的词级符号进行有效交流的能力，并表明代理能够通过有限词汇量的自然语言进行充分交流。尽管交流并不总是完美的英语，但代理仍然能够在迷宫中导航。我们获得了 0.85 的 BLEU 分数，比随机生成的序列提高了 0.61，同时保持了 100% 的迷宫完成率。这是使用我们的参考集的随机基线性能的 3.5 倍。

二、结论

总之，我们能够通过将编码解码器格式的中枢神经系统和中枢神经系统结合起来，为发送方和接收方代理开发模型。我们已经表明，这些代理能够通过有限的词汇量通过自然语言进行充分的交流。他们能够达到与排除任何通信的基线相似的性能。虽然交流并不总是完美的英语，代理仍然能够有效地导航迷宫。

我们已经表明，在这种环境中的代理能够通过RL学习语言。我们的发送者-接收者组合获得了0.853的BLEU分数，这比随机生成的序列提高了0.61，同时仍然保持100%的迷宫完成率。

对于未来的工作，我们将考虑更复杂的环境，允许更详细的说明。我们还将考虑使用预先训练的模型来评估语法，并将其纳入奖励函数。作为进一步的扩展，我们打算使用连续的语音信号，而不是离散的单词级符号。我们还打算研究双向沟通，这将在代理之间引入更多的对话。

三、model

游戏包括一个被蒙住眼睛的人和一个向导，目标是向导只通过交流来引导被蒙住眼睛的人，以便在某个环境中导航或完成某项任务。

状态编码卷积层：

通过经验回放和目标问答网络进行深度问答学习的算法：