迈向无所不聊的对话代理

谷歌开发者

于 2020-03-09 19:22:08 发布

阅读量914

点赞数

本文链接：https://blog.csdn.net/googledevs/article/details/104764997

版权

Google 推出的 Meena 是一个包含 26 亿参数的神经对话模型，旨在创建能进行合理、具体对话的聊天机器人。Meena 使用 Evolved Transformer 架构，通过降低困惑度来提高对话质量。文章提出了新的评估指标 SSA，Meena 在此指标上的表现优于其他先进聊天机器人，接近人类水平。未来的研究将关注模型的个性化、事实性以及安全性和偏差问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文 / Google Research 及 Google Brain 团队高级研究工程师 Daniel Adiwardana 和高级研究员 Thang Luong

现代 对话代理 (Conversational Agent, 又称 chatbots 聊天机器人) 非常专业，只要用户的使用行为与预期相差不多，这类机器人的表现就会很好。

为了更好地处理各种各样的对话主题，开放域对话 (Open-Domain Dialog) 的研究团队探索出一种补充方法：尝试开发出一种不专门针对聊天、但仍然可以与用户聊任何内容的聊天机器人。这类对话代理不仅是一个吸引人的研究课题，而且还可衍生出很多有趣应用，如：可进一步提升人机互动，改进外语学习，制作有关联的交互式电影和视频游戏角色的应用。

但是，现有的开放域聊天机器人存在一个严重缺陷：它们回复的内容常常不具有实际意义。它们时常回复的话语前后不搭，或者明显缺乏常识与关于世界的基本认知。此外，这类聊天机器人经常会给出不符合当前特定语境的答复。例如，用“我不知道”这个没有针对性的答案来回复很多问题。据统计，聊天机器人比人类更频繁地给出类似的万金油回答。

我们在《迈向拟人化的开放域聊天机器人》(Towards a Human-like Open-Domain Chatbot) 一文中介绍了 Meena，这是一个包含 26 亿个参数的端到端训练的神经对话模型。我们证明，与现有的最先进 (State-Of-The-Art) 聊天机器人相比，Meena 可以进行更合理和更具体的对话。我们针对开放域聊天机器人提出一项新的人工评估指标，即合理度和具体度平均值 (Sensibleness and Specificity Average, SSA)，可捕获人类对话中基本但重要的属性。值得注意的是，我们提出了一项适用于任何神经对话模型，而且与 SSA 高度相关的自动指标 “困惑度 (Perplexity)”。

迈向拟人化的开放域聊天机器人
https://arxiv.org/abs/2001.0997
神经对话模型
https://arxiv.org/abs/1506.0586

Meena（左）与用户（右）的聊天对话

Meena

Meena 是一种端到端的神经对话模型，可以根据特定语境学习并做出明智回答。训练的目标是最大程度地降低困惑度，即预测下一个 token (在本例中是指对话中的下一个词) 的不确定性。Meena 的核心是 Evolved Transformer seq2seq 架构，这是一种为降低困惑度，在改进神经架构搜索时发现的 Transformer 架构。