谷歌机器对话Self-Play框架M2M-Building a Conversational Agent Overnight with Dialogue Self-Play

最新推荐文章于 2024-09-14 16:57:52 发布
最新推荐文章于 2024-09-14 16:57:52 发布
阅读量852 收藏 2
点赞数 1
分类专栏： NLP DeepLearning 文章标签： M2M Building a Conversational Agent Ove task oriented Wizard of oz
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shine19930820/article/details/84037579
版权

文章目录

Building a Conversational Agent Overnight with Dialogue Self-Play
Google提出了 Machines Talking To Machines（M2M，机器对话机器）的框架，这是一个功能导向的流程，用于训练对话智能体。其主要目标是通过自动化任务无关的步骤以减少建立对话数据集所需的代价，从而对话开发者只需要提供对话的任务特定的层面。另一个目标是获得更高质量的对话，「高质量」指的是：（1）语言和对话流的多样性，（2）所有预期用户行为的覆盖范围；以及（3）监督标签的准确性。最后，这个框架的目标是引导对话智能体，使其被部署去服务实际的用户，并达到可接受的任务完成率，之后，该框架应该能使用强化学习通过用户反馈直接提升自身性能。

1. Wizard-of-Oz

首先讲一下Wizard-of-Oz如何通过众包工作者产生task oriented多轮对话。

1.1 user

image-20181112232940043

user: 给出实体(infrom, request)，查看历史对话和任务描述，给出适当的回应句子。

1.2 wizard

image-20181112232917736

给出一个表格，众包工作人员需要浏览对话历史记录。

  1. 通过在本回合解释用户输入填写表单（顶部绿色），并根据历史记录和数据库结果键入适当的响应（ 底部绿色）。 提交表单时更新数据库搜索结果。 表单可以分为infrom slot和可request slot，包含state tracker所需的所有标签。
  2. 还需要输出回应

1.3 优缺点

其优势在于：

每个人按轮次来标注，需要查看历史对话记录。使得数据的采集可以并行，减少标注者等待时间。

主要缺点：

  • 可能不会涵盖所有的交互。（人主导）
  • 可能包含不适合用作培训数据的对话（例如，如果群众工作者使用过于简单化或过于复杂的语言）
  • 对话注释中可能有错误，需要开发人员过滤和清洗。

论文：

  1. A Network-based End-to-End Trainable Task-oriented Dialogue System
  2. Frames: a corpus for adding memory to goal-oriented dialogue systems

2. M2M框架

自动化任务无关的步骤以减少建立对话数据集所需的代价。

  1. 对话开发者提供任务Schema(intents&Slots)和API客户端，
  2. 自动机器人(User Bot&System bot)生成对话轮廓Outlines，（一个agenda based用户模拟器和一个基于有限状态机器的system agent）
  3. 众包重写成自然语言表达并验证slot span。
  4. 在数据集上用监督学习训练对话模型。

page1image3802880.png

生成大纲与段落的示例。

image-20181112233156132

用户根据M2M生成的outline，来生成真正的对话。

image-20181112233242394

用户评价对话界面。

image-20181112233256311



2.1 优势：

  1. Function driven，开发者提供Schema和API，不需要很精细设计（精力，周全）。
  2. 对话流多样（bot的设计）。
  3. 覆盖预期的用户行为。
  4. 标签的正确性。

在达到一定任务完成率，部署上线使用强化学习直接从用户反馈中改进它们。

2.2 评价：

DSTC2 与 M2M Restaurant 数据集在语言与对话流多样性的对比

MetricDSTC2 (Train)M2M Rest. (Train)
Dialogues16111116
Total turns116706188
Total tokens19929599932
Avg. turns per dialogue14.4911.09
Avg. tokens per turn8.548.07
Unique tokens / Total tokens0.00490.0092
Unique bigrams / Total tokens0.01770.0670
Unique transitions / Total turns0.09820.2646
Unique subdialogues(k=3) / Total subdialogues(n=3)0.18310.3145
Unique subdialogues(k=5) / Total subdialogues(n=5)0.56210.7061
Unique full outlines / Total dialogues0.92430.9292



用 M2M 收集的对话的人类评价。众包人员对用户与系统对话给出得分的平均值（1-5 分）, 括号内是标准偏差。

image-20181112233359735

可能会遇到的问题

  1. Schema怎么设计，API如何接入，都是需要更具业务定制的解决方案。
  2. user bot采用rule-based，system bot机制？有限自动机？其实也是另一种rule-based，局限性？
  3. 众包的具体细节其实可以参考WOZ，是否能结合两者的优势。
  4. 数据集监督学习训练对话模型，后采用强化学习来优化模型。

Reference

  1. https://www.jiqizhixin.com/articles/Self-Play-M2M
  2. https://arxiv.org/abs/1801.04871
百川AI
关注
专栏目录
From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of LLM
c_cpp_csharp的专栏
02-04 443
本文介绍了RAISE（Reasoning and Acting through Scratchpad and Examples），这是一种高级架构，用于增强GPT-4等大型语言模型（LLM）与会话代理的集成。RAISE是ReAct框架的增强，它包含了一个双成分记忆系统，反映了人类的短期和长期记忆，以保持对话的上下文和连续性。它需要一个全面的代理构建场景，包括会话选择、场景提取、CoT完成和场景增强等阶段，从而进入LLM训练阶段。这种方法似乎增强了智能体在复杂、多回合对话中的可控性和适应性。
《论文阅读》Think Twice: A Human-like Two-stage Conversational Agent for Emotional Response Generation
MyHeartWillGoOn
01-26 780
对于类人对话系统，当前的情感对话方法使用统一的神经网络联合建模情感和语义。由于情感和语义之间的相互制约，该策略倾向于生成安全回复且需要大规模情感注释对话语料库。受人类智能对话中“三思而后行”行为的启发，我们提出了一种用于生成情感对话的两阶段对话代理。首先，在没有情感注释对话语料库的情况下训练的对话模型生成符合上下文语义的原型响应。其次，第一阶段原型由具有共情假设的可控情绪精炼器修改。
Conversational_Agent:这是一个Python脚本（及其所有依赖项），可创建会话代理，并允许计算机与人之间以及两台计算机之间进行对话
03-14
对话代理 这是一个Python脚本（及其所有依赖项），可创建会话代理，并允许计算机与人之间以及两台计算机之间进行对话 这是活页夹链接： :
《building a conversational agent overnight with dialogue self play》总结
weixin_40533355的博客
10-10 594
一、概述 机器语音系统的一个巨大缺点是机器人不知道如何“好好说话”。由于这个原因，它们无法合成自己的句子。它们需要人类来为它们编写一些语法规则，从而它们可以自己构造句子。 本文提出了一个M2M机器对话机器（Machines Talking To Machines）框架，它是一个结合自动化和众包模式的框架，可快速引导端到端对话智能体在任意域中进行目标导向的对话。换句话说，M2M是一个功能导向的流程...
Dialogue and Conversational Agents
aigui1439的博客
10-23 157
人类会话的属性 交替会话的规则： 如果现在的说话者指定 A 为下一个说话者，那么 A 会成为下一个说话者 如果现在的说话者没有指定下一个说话者，任何一个人都可能成为下一个说话者 如果没人接话茬，现在的说话者可能会继续说话 基本的对话系统 语音识别系统 自然语言理解 文本—语音系统 自然语言生成系统 对话管理系统 任务管理系...
self_play简介
civiljiao的博客
10-16 146
联盟对抗：基于智能体的自博弈，将己方和对手智能体训练得到的具有一定胜率的策略放进己方和对手的策略池中，将策略池的策略通过概率选择器进行选择其中之一，让己方和对手智能体进行对抗。而这种方式让红蓝双方有来有回的进行策略迭代，让行为模型往更优的地方发展。自博弈介绍：首先通过策略训练得到一个智能体，然后训练到一定程度，换对手为智能体进行训练博弈，然后等待对手智能体训练到一定的程度，再换己方智能体训练，循环往复。主智能体（Main Agent）: 为正在训练的智能体，用于训练鲁棒性最强的策略，也是最后部署的策略。
OpenAI Five self-play调研
taitoushiyun的博客
05-28 1167
文章目录BlogOpenAI Five Blog OpenAI Five 参考资料：https://openai.com/blog/openai-five/ Dota 2 存在的问题： long time horizons partially observed state high-dimensional, continuous action space high-dimensional, continuous observation space 解决方式 massively-scaled PPO +
dialogflow-web-v2：Dialogflow Web集成。 丰富的组件，Google上的操作等
02-01
通过提供强大的自然语言理解（NLU）引擎来处理和理解自然语言输入，使您可以在产品和服务之上构建对话界面。 这是Dialogflow V2的非官方Web集成 产品特点 渐进式Web应用程序（100/100灯塔得分） 辅助功能 广泛的...
Rasa Core现在是Rasa repo的一部分:一个开源机器学习框架，以自动化基于文本和语音的对话- RasaHQ/rasa_core
01-27
Rasa Core (DEPRECATED) :warning_selector::woman_construction_worker_selector: The code is now part of the ...A list of the Licenses of the dependencies of the project can be found at the bottom of the .
Seq2seq-Chatbot-for-Keras：此存储库包含一个新的基于seq2seq建模的chatbot生成模型
02-03
适用于Keras的Seq2seq聊天机器人 ... 规范seq2seq模型在神经机器翻译中变得很流行，该任务对属于输入和输出序列的单词具有不同的先验概率分布，因为输入和输出话语是用不同的语言编写的。 此处介绍的体系结构假定
智能对话机器人实战（PDF课件）.rar
07-31
智能对话机器人实战（课件）案例驱动：三大智能对话机器人需求场景，三个完整案例；一套完整的智能对话机器人开发方法，三大智能对话框架；
中文翻译Mastering Chess and Shogi by Self_Play with a General
12-07
鄙人仅是资源搬运工，今天看了原版英文后机器之心公众号立马更新了中文翻译，非常不错的资源。在此申明，中文翻译Mastering Chess and Shogi by Self_Play with a General Reinforcement Learning Algorithm由微信公众号机器之心整理。
强化学习中的自我博弈（self-play）
小星AI
06-21 1371
但随着训练的进行，探索奖励应当逐渐衰减为0。第二是对手抽样，智能体在面对过强或过弱的对手时，训练都会难以取得成效，因此环境中需要存储对手不同时期的训练版本，让较弱的一方有机会获胜，较弱的一方策略提升的同时会反过来促进较强一方变得更强。为了判断智能体的强弱，使自我博弈使用水平相近的智能体进行对抗训练，根据ML-Agents中的做法，较好的解决方式是引入ELO评级系统，这是一种计算零和游戏中两个玩家之间相对水平的方法。也就是说，对方的智能体在己方训练的时候相当于环境的一部分，对手的策略也极大影响了自身的策略。
self-play RL学习笔记
最新发布
产品老A，6年互联网大厂AIPM，专注探索新型人机交互
09-14 1117
让AI用随机的路径尝试新的任务，如果效果超预期，那就更新神经网络的权重，使得AI记住多使用这个成功的事件，再开始下一次的尝试。——llya Sutskever
强化学习-自博弈
feverd555的博客
09-14 3544
强化学习自博弈相关知识
探索AI的未来：Self-Play Fine-Tuning (SPIN) 模型
gitblog_00028的博客
05-31 491
探索AI的未来：Self-Play Fine-Tuning (SPIN) 模型 SPINThe official implementation of Self-Play Fine-Tuning (SPIN)项目地址:https://gitcode.com/gh_mirrors/spi/SPIN 在人工智能领域，模型优化是持续发展的关键所在。今天，我们有幸向您推荐一个创新的开源项目——SPIN（...
强化学习：通过Self-Play来扩增多轮次Text-to-SQL数据集 Augmenting Multi-Turn Text-to-SQL Datasets with Self-Play
qq_36001281的博客
01-11 1112
• Self-Play有助于文本到SQL模型学习各种会话主题关系并改善跨领域的泛化能力。• Self-Play提高了多数SQL类型的性能。模型在中等难度的查询上表现尤其出色。• Self-Play提高了束搜索的性能。我们探索了在跨领域会话语义解析任务中使用Self-Play作为生成合成对话的数据增强方法，以应对数据稀缺和跨领域泛化的挑战。
【论文阅读】Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
weixin_37837522的博客
06-13 4613
【论文阅读】Deep Reinforcement Learning from Self-Play in Imperfect-Information Games博弈论基础AbstractIntroductionBackgroundRLExtensive-Form GamesFSPNFSP总结 博弈论基础 Abstract 现实中很多实际问题都可以理解为是一个大规模非完美信息博弈（游戏）。为了解决这样...
自博弈学习初步
rockray21的博客
12-06 4565
如有错误，欢迎指正 本文学习过程中的归纳总结 如有侵权，请私信本人 参考链接：https://blog.csdn.net/weixin_37837522/article/details/91907661 https://www.jianshu.com/p/bcbc41125c54 https://zhuanlan.zhihu.com/p/30282616 对于alphazero的准备知识重点看这一篇 https://blog.csdn.net/windowsyun/article/details/88701
JavaServer Faces Specification 2.0 - Final Draft
"jsf-2_0-fr-spec" 本文档是JavaServer Faces（JSF）2.0规范的最终草案，由Sun Microsystems于2009年6月25日发布。JSF是一种用于构建Web应用程序的Java EE框架，专注于用户界面组件和事件处理。该规范由Ed Burns和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

百川AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值