知识对话2021《Augmenting Knowledge-grounded Conversations with Sequential Knowledge Transition》论文解读

最新推荐文章于 2022-06-06 11:01:05 发布
最新推荐文章于 2022-06-06 11:01:05 发布
阅读量392 收藏 2
点赞数
文章标签： 自然语言处理 人工智能 nlp 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44487404/article/details/122047405
版权
本文探讨了如何通过Sequential Knowledge Transition增强知识驱动的对话。首先，介绍了一个结合历史上下文和时序信息的知识选择方法，使用BERT和CRF进行知识标签预测。其次，对话生成分为预训练和微调阶段，预训练阶段学习知识三元组的自然语言表达，微调阶段则根据知识标签、三元组和上下文生成回复。
摘要由CSDN通过智能技术生成

Augmenting Knowledge-grounded Conversations with Sequential Knowledge Transition

本文针对知识驱动对话任务提出了两个子任务：知识选择/对话生成
在这里插入图片描述

1.知识选择

提出了知识转移的思路，即每轮对话的知识内在也是有联系的
在这里插入图片描述

做法：Bert编码历史上下文+BiLSTM建立时序信息+CRF对应知识标签
这个做法有点像任务型对话中的槽填充，"每个token编码后输出槽位值"的做法->“每轮对话的句编码输出知识标签”。
因为知识标签的数量是有限的才能建立这样的状态转移。根据标签去知识库里搜索，如果有很多个这样的标签，再用BM2.5打分，确定得分最高的为该轮知识。

2.对话生成

分为pretraining和finetune两阶段。
在这里插入图片描述

2.1pretraining

将知识三元组输入进去，输出是自然语言文本。egs:(梁朝伟，代表作，无间道)->（梁朝伟的代表作是无间道）
作者这样做是想让transformer学习知识三元组对应的自然语言语法结构，而非知识内容本身。

2.2finetune

输入为：知识标签，知识三元组，上下文
输出为：生成回复
（知识三元组的知识标签就是关系边，如果是知识文本，则用LDA模型确定类型）

曾阿牛nlper
关注
知识对话2021《Unsupervised Knowledge Selection for Dialogue Generation》论文解读
weixin_44487404的博客
12-18 641
Unsupervised Knowledge Selection for Dialogue Generation 这篇论文是微信团队出的一篇，想解决的是没有最佳知识标签（无监督）情况下，对话模型怎么办？ 具体的就是，1）怎么选出最佳知识2）选出最佳知识解码器怎么好好利用3）选出错误知识解码器怎么降低影响。 反思：核心技术点有distance supervision、知识蒸馏方面需要恶补一下。 模型架构图，画的有点…还是略过图看原文比较好 1.知识选择 Selection Query：将历史信息、历史知识、
Augmenting Self-attention with Persistent Memory
wuyuanli_r的博客
12-29 862
Augmenting Self-attention with Persistent Memory arXiv:1907.01470 [cs.LG]\url{1907.01470 [cs.LG]}1907.01470 [cs.LG] 给定序列 X:=(x1,⋯ ,xn)X:=(x_1,\cdots,x_n)X:=(x1​,⋯,xn​), 列向量 xix_ixi​ 的长度为 d. 自注意机制的 query， key 和 value 分别是 qi:=WQxi,ki:=WKxi,vi:=WVx
A Knowledge-Grounded Neural Conversation Model
liuyuemaicha的专栏
02-13 2207
原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于背景知识（knowledge-g
知识驱动对话-Learning to Select Knowledge for Response Generation in Dialog Systems-阅读笔记...
weixin_30726161的博客
03-26 363
今日看了一篇文章《Learning to Select Knowledge for Response Generation in Dialog Systems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成。期间做了一些笔记，还有个人想法。大家一起进步！ 转载于:https://www.cnblogs.com/demo-deng/p/10598130....
论文总结——融入知识的对话
zoe的博客
06-06 1005
融入知识的对话生成~
基于知识图谱的人机对话系统 | 公开课笔记
AI科技大本营
10-21 9965
AI技术年度盛会即将开启！11月8-9日，来自Google、Amazon、微软、Facebook、LinkedIn、阿里巴巴、百度、腾讯、美团、京东、小米、字节跳动、滴滴、商汤、旷视、思必驰、第四范式、云知声等企业的技术大咖将带来工业界AI应用的最新思维。 如果你是某个AI技术领域的专业人才，或想寻求将AI技术整合至传统企业业务当中，点击填写「2018 AI开发者大会注册信息表」，我们将从中挑...
Augmenting Knowledge Distillation with Peer-to-Peer Mutual Learn
01-28
知识蒸馏（Knowledge Distillation, KD）是一种有效的模型压缩技术，它旨在将大型、复杂的教师网络的知识传授给小型、高效的 student 网络，使得 student 网络能够模仿教师网络的行为。这种方法使得在保持较高性能的...
BurpSuite手册-020-tuitorials-Augmenting your manual testing with B
07-04
在网络安全和Web应用程序渗透测试中，Burp Suite是一款不可或缺的工具。本文主要讲解了如何利用Burp Scanner增强手动测试的效率和覆盖率，特别是在检测漏洞的过程中。Burp Scanner作为一个自动化组件，能够帮助测试...
藏经阁-SPARK AND COUCHBASE AUGMENTING THE OPERATIONAL DATABASE WITH
最新发布
08-26
Spark 和 Couchbase 增强操作数据库的应用 Sparks 和 Couchbase 是两种流行的大数据处理技术，前者是一个基于内存的数据处理引擎，而后者是一个 NoSQL 数据库管理系统。通过将这两种技术结合，可以实现操作数据库...
Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs
weixin_43173180的博客
10-04 647
论文目的 用常识性知识图显式地建模会话流 论文方法 通过将对话与概念空间联系起来，ConceptFlow将潜在的对话流表示为沿着常识关系在概念空间中遍历。 任务描述 user输入话语X（有m个单词），对话生成模型使用encoder-decoder框架产生回答 Concept Graph Construction 先找到出现在对话里的概念V_0，然后再去常识库找到1-hop和2-hop的邻居V_1和V_2，V_0到V_1形成central concept graph G_central（与当前对话主题相近），
Python-知识驱动对话竞赛的基线系统
08-10
一个名为知识驱动对话的新对话任务上设置了这个竞赛，其中机器基于构建的知识图与人交谈。 它旨在测试机器进行类似人类对话的能力。
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等.zip
11-08
【EMNLP2019】最新5篇论文推荐，主要涉及BERT，对话系统，知识图谱，注意力机制等。内容丰富，欢迎大家下载学习。
DukeNet:SIGIR-2020全文代码
05-24
DukeNet（SIGIR 2020全文） 的代码：用于。 这项工作得到了腾讯AI实验室犀牛鸟重点研究计划（JR201932）的部分支持。 参考 如果您在工作中使用此仓库中包含的任何源代码，请引用以下论文。 @inproceedings{chuanmeng2020dukenet, author = {Meng, Chuan and Ren, Pengjie and Chen, Zhumin and Sun, Weiwei and Ren, Zhaochun and Tu, Zhaopeng and Rijke, Maarten de}, title = {DukeNet: A Dual Knowledge Interaction Network for Knowledge-Grounded Conversation}, year = {2020}, booktitle = {SIGI
《预训练周刊》第41期： 知识型对话生成、语境学习、通用控制器学习
BAAIBeijing的博客
04-06 683
No.41智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了8篇预训练...
知识图谱驱动对话模型的解读
liliang199的专栏
06-24 750
最近在做知识图谱驱动的多轮对话，查了很多资料，很多方案都采用“分类+NER+图谱规则”的方式做，在特别狭窄的领域感觉还可以，但是在宽一点的领域，就感觉图谱规则特别像机器人不太自然。 在看了Knowledge-driven-dialogue项目后感觉很受启发。感谢作者的方案分享，在这里记录下自己对这个项目模型的一点点小的认识，由于对专业术语掌握的不精，主要采用通俗的描述方式，可能描述不精确，大家意会就行啦。 https://github.com/lihanghang/AI-Competition/tree
《A Knowledge-Grounded Neural Conversation Model》
weixin_34102807的博客
04-20 233
abstract 现在的大多数模型都可以被应用在闲聊场景下，但是还没有证据表明他们可以应用在更有用的对话场景下。这篇论文提出了一个知识驱动的，带有背景知识的神经网络对话系统，目的是为了在对话中产生更有意义的回复。以seq2seq模型为基础（传统的seq2seq只能学习到句子的骨架而不包括有效的信息），用对话历史和外界的facts去规范回答。模型具有通用性，可以应用在open-domain。 in...
EMNLP 2020论文分析：知识图谱增强语言模型或是未来的发展趋势！
BAAIBeijing的博客
11-30 1839
在EMNLP 2020的论文投递中，知识图谱的研究热度不减，并成为继续推动NLP发展的重要动力之一。在EMNLP 2020中，知识图谱领域有了哪些最新研究进展呢？作者从中选出了30篇文章...
论文清单：SIGIR 2021推荐系统相关论文分类整理
Paper weekly
04-30 2652
© 作者｜范欣妍机构｜中国人民大学高瓴人工智能学院研究方向 |推荐系统文章来源 |RUC AI Box导读ACM SIGIR 2021是CCF A类会议，人工智能领域智能信息检索（ I...
最新NLP论文阅读列表，包括对话、问答、摘要、翻译等（附资源）
THU数据派
03-26 3048
来源：专知本文约1000字，建议阅读20分钟。Github项目iwangjian/Paper-Reading包含了最新的NLP相关论文列表，包括对话系统、文本摘要、主题模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>