【翻译】End-to-End Reinforcement Learning of Dialogue Agents for Information Access

最新推荐文章于 2023-04-03 17:59:27 发布
最新推荐文章于 2023-04-03 17:59:27 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 深度学习 自然语言处理 文章标签： paper
本文介绍了微软邓力教授的研究，提出了一种端到端强化学习的方法来训练对话代理KB-InfoBot，该代理能从知识图谱中生成响应。研究揭示了传统goal-oriented对话系统的组成部分，包括语言理解、对话状态跟踪、对话规则和自然语言生成，并指出这些组件的独立训练和不可微问题。为解决这一问题，研究中将SQL查询替换为概率框架，以推断用户目标在KB实体上的后验分布。
摘要由CSDN通过智能技术生成

本文是微软研究软邓力老师的文章，构建了一种从知识图谱中形成response的聊天机器人KB-InfoBot，并且提出了一种端到端的增强学习训练方案。

（本文对于构建一个端到端的KB + task-oriented chatbot非常有启发和指导意义）

introduction

一个典型的goal-oriented（就是比如query一个人演的某年电影）一般由四个部分组成：

一，language understanding(LU)模块来预测用户目的以及抽取相关slots；
二，一个对话状态记录器来记录用户意图和对话历史；
三，一个对话规则来根据当前的状态选择下一步的系统行动；
四，natural language generator (NLG)来把对话行动转化为自然语言

有必要给对话规则以数据库里的真实世界的知识，之前的end-to-end系统通过构造一个symbolic query以及从数据库里取数据来实现这点，不幸的是，这样的操作让模型non-differentiable以及对话系统的各个模块分开被训练。

在我们的工作，我们将类SQL的查询替换为一个probabilistic framework for inducing a 后验分布 of the user target over KB entities，
我们从the belief tracker multinomials over attribute-values and binomial probabilities of the user not knowing the
value of an attribute来构造这个分布。

FocusOneThread
关注
专栏目录
订阅专栏
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 732
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
《LEARNING END-TO-END GOAL-ORIENTED DIALOG》
knight的博客
09-15 700
** 摘要 **
End-to-End Reinforcement Learning of Dialogue Agents for Information Access
u013713117的专栏
02-14 1807
作者Bhuwan Dhingra, Lihong Li, Xiujun Li, Jianfeng Gao, Yun-Nung Chen, Faisal Ahmed, Li Deng单位School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA Microsoft Research, Redmond, WA,
End-to-End Reinforcement Learning of Dialogue Agents for Information Access 端对端加强学习对话代理信息访问
ynsshzwxhzyx的博客
03-25 847
This paper proposes KB-InfoBot—a dialogueagent that provides users with an entity from a knowledge base (KB) byinteractively asking for its attributes. All components of the KBInfoBot aretrained in an
End-to-End Reinforcement Learning for Automatic Taxonomy Induction读书笔记
sjh18813050566的专栏
02-15 295
自动词语分类 提取词语对之间的特征，生成分类树的过程视作序列决策，每次选择一对词加入分类树中
Conceptual Challenges for Interpretable Machine Learning
weixin_42786150的博客
03-01 1378
Conceptual Challenges for Interpretable Machine Learning David S. Watson1 'Department of Statistical Science, University College London, London, UK Email for correspondence: david.watson@ucl.ac.uk §0 Abstract As machine learning has gradually entere..
【大模型】大语言模型简介
热门推荐
程序员光剑
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
INTRODUCTION TO THE LAW OF VIRTUAL AND AUGMENTED REALITY
weixin_42786150的博客
02-15 3659
PART I INTRODUCTION TO THE LAW OF VIRTUAL AND AUGMENTED REALITY 1. The law of virtual reality and increasingly smart virtual avatars Woodrow Barfield and Alexander Williams 1. INTRODUCTION Advances in virtual and augmented reality technology, a
Dialogue and Conversational Agents
aigui1439的博客
10-23 156
人类会话的属性 交替会话的规则： 如果现在的说话者指定 A 为下一个说话者，那么 A 会成为下一个说话者 如果现在的说话者没有指定下一个说话者，任何一个人都可能成为下一个说话者 如果没人接话茬，现在的说话者可能会继续说话 基本的对话系统 语音识别系统 自然语言理解 文本—语音系统 自然语言生成系统 对话管理系统 任务管理系...
End-to-end Active Object Tracking via Reinforcement Learning
CSS360的博客
07-20 601
论文地址：http://proceedings.mlr.press/v80/luo18a/luo18a.pdf 摘要 我们研究运动目标跟踪，在一个跟踪者作为输入的视觉观察（帧序列）以及处理相机控制信号（移动向前，左拐）。卷积方法处理跟踪和相机控制独立地，正在挑战联合调优。它也导致一些人们支持对于标记和一些经验试验和错误在真实世界中。为了解决这个问题，我们提出，在这篇文章中，一个端到端的解决通过...
论文略读 | Learning Personalized End-to-End Goal-Oriented Dialog
sanra123的博客
02-26 575
2019AAAI的一篇文章，这篇其实没有看，有作者的一份介绍，很详细了。 参考：https://mp.weixin.qq.com/s/AqzdRoXthrUFUOqSNwgfqQ
论文阅读笔记：A Network-based End-to-End Trainable Task-oriented Dialogue System
BoCong-Deng的博客
10-04 2125
教会机器完成与人自然交流的任务是充满挑战性的，当前，开发面向任务的对话系统需要创建多个组件，通常这涉及大量的手工制作或获取昂贵的标记数据集以解决每个组件的统计学习问题。在这项工作中，我们介绍了基于神经网络的文本输入，文本输出的端到端可训练的面向目标的对话系统，以及一种基于pipeline的Wizard-of-Oz框架的收集对话数据的新方法。这种方法使我们能够轻松开发对话系统，而无需对手头的任务做太多假设。结果表明，该模型可以自然地与人类交谈，同时帮助他们完成餐馆搜索领域的任务。
A Network-based End-to-End Trainable Task-oriented Dialogue System
weixin_33910460的博客
03-31 125
abstract 让机器去和人类自然的交谈是具有挑战性的。最近的任务型对话系统需要创造几个部分并且通常这需要大量的人工干预，或者需要标注数据去解决各部分训练的问题。在这里我们提出了一种端到端的任务型对话系统，它采取了一种基于管道框架的新颖的收集对话数据的方法。这个方法允许我们轻松实现对话系统而不用过多的人工干预。结果展示模型能够在和人自然交流的同时帮助他们完成餐馆搜索领域的任务。 introduc...
论文略读 | Learning End-to-End Goal-Oriented Dialog with Multiple Answers
sanra123的博客
02-21 981
待续
论文略读 | Learning End-to-End Goal-Oriented Dialog++Dialog-bAbI数据集
sanra123的博客
02-20 926
1. 下载链接： https://fb-public.app.box.com/s/chnq60iivzv5uckpvj2n2vijlyepze6w 2. 数据集大小 大小: 32.9M 3. 及文件组成 （1） 任务 1-5 training development testing 1000 1000 1000 其中，任务1-5还包含一个OOV测试集文件，与tst文件不同之处是...
【深度学习】端到端学习 (end-to-end) 理解
__阿健__的博客
03-05 1586
什么是端到端学习？ In end-to-end reinforcement learning, the end-to-end process, in other words, the entire process from sensors to motors in a robot or agent involves a single, layered or recurrent neural ne...
论文学习：《A network-based end-to-end trainable task-oriented dialogue system》
qq_41297934的博客
03-18 723
学习任务导向型对话系统，第一篇论文是《A network-based end-to-end trainable task-oriented dialogue system》。因为是首次接触该领域，所以学习这篇论文花了很长时间，这里对之前的学习进行一下记录。
actor-attention-critic for multi-agent reinforcement learning
最新发布
04-08
Actor-Attention-Critic是一种用于多智能体强化学习的技术，其由三个主要组件构成，分别是演员（Actor）、注意力（Attention）和评论家（Critic）。演员用于根据当前状态选择一个行为，并将其传递给注意力网络，注意...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值