《论文阅读》任务型对话系统——融合KB实体的方法

已于 2022-11-29 16:21:00 修改
阅读量498 收藏
点赞数
分类专栏： 组会论文 文章标签： 论文阅读 任务型对话系统 知识融合 预训练模型 Query
于 2022-11-25 20:29:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/127889477
版权
组会论文 专栏收录该内容
31 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏
本文分享了三篇关于任务型对话系统的论文，探讨如何将知识库融入对话系统。研究方法包括将KB实体通过预训练模型学习、使用Trie约束解决实体一致性问题以及采用Query驱动的对话系统。这些方法为任务型对话系统中知识的高效利用提供了新思路。
摘要由CSDN通过智能技术生成

《论文阅读》任务型对话系统——融合KB实体的方法

分享的三篇论文分别为：

  1. Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems [2020EMNLP]
  2. Autoregressive Entity Generation for End-to-End Task-Oriented Dialog
  3. Q-TOD: A Query-driven Task-oriented Dialogue System

目前主流的将知识库融入任务型对话的方法有三种：

  1. 将KB利用记忆网络编码，主要用于处理单领域少量KB，比如bAbI，SMD，CamRest，MultiWOZ（单领域）

  2. 利用预训练模型，在finetune阶段将KB实体信息学习到模型中

  3. 利用DST生成检索query，然后和KB交互检索，这种现在用的比较少，破坏模型的训练过程&#x

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
专栏目录
订阅专栏
哈尔滨工业大学博士覃立波：多领域端到端任务型对话系统研究分享
AITIME_HY的博客
11-18 2397
⬆⬆⬆ 点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本期AI TIME PhD直播间，我们有幸邀请到了来自哈尔滨工业大学社会计算与信息检索研究中心...
如何搭建KBQA系统 —— 初识KBQA（一）
weixin_40570579的博客
05-13 5656
如何搭建KBQA系统（一）
基于知识图谱的人机对话系统 | 公开课笔记
AI科技大本营
10-21 9873
AI技术年度盛会即将开启！11月8-9日，来自Google、Amazon、微软、Facebook、LinkedIn、阿里巴巴、百度、腾讯、美团、京东、小米、字节跳动、滴滴、商汤、旷视、思必驰、第四范式、云知声等企业的技术大咖将带来工业界AI应用的最新思维。 如果你是某个AI技术领域的专业人才，或想寻求将AI技术整合至传统企业业务当中，点击填写「2018 AI开发者大会注册信息表」，我们将从中挑...
ACL2023：LLM相关论文总结
weixin_52171642的博客
07-17 2212
上下文学习（ICL）通过在推理时简单地演示少量的例子来提高语言模型在各种NLP任务中的表现。人们对ICL能力出现的原因不是很了解，因为模型从来没有在这种演示上进行过专门的训练。与之前探索ICL背后的隐性机制的工作不同，我们通过调查预训练数据来研究ICL。具体来说，我们首先采用一种迭代的、基于梯度的方法来寻找支持ICL的一小部分预训练数据。我们观察到，在这个小的子集上继续进行预训练可以显著提高模型的ICL能力，提高幅度高达18%。
RAG Survey
AI + 工程
04-28 1465
摘要 一、INTRODUCTION 二、RAG概述 A. Naive RAG B. Advanced RAG C. Modular RAG D. RAG与微调 三、 检索 A. 检索来源 1） 数据结构 2） 检索粒度 B. 索引优化 C. 查询优化 D.嵌入 E. Adapter 四、 生成 A. 语境控制 B. LLM微调 五、RAG 增强过程 A. 迭代检索 B. 递归检索 C. 自适应检索 VI、 任务与评估 A. 下游任务 B. 评估目标 C. 评估方面 D. 评估基准和工具 七、讨论与未来展望
进入AI领域做产品 —— 我的自学之路
热门推荐
07-03 1万+
做产品经理这份工作将涉及大量选择，本质上，是需要“输入→内视→输出”的环节更多，所以为了更好的去进行“输出”，学习“输入”（AI基础认知、产品认知、技术通识）以及“内视”（认知框架）的重要性就不言而喻了。 所以，这份内容是关于一个要进入AI领域的产品经理，所需要积累的“输入”的归纳，以及搭建“内视”框架的过程。（第二份输出也已经完成——《出行服务 + AI —— 一次模拟的创业》)
软考高项-信息系统项目管理师-精华笔记
weixin_44253899的博客
04-16 6021
【人生苦短，只看精华】软考信息系统项目管理师教程共923页，分28章，1264000字。本文取其精华，梳理归纳，分为2个部分介绍重点知识：第1部分：信息系统；第2部分：项目管理。开始画笔记⬇⬇⬇⬇⬇⬇⬇
清华ACL'22 | 一文读懂刘知远所在实验室18篇论文详情
zenRRan的博客
03-01 1271
每天给你送来NLP技术干货！来自：TsinghuaNLP近日，ACL 2022录用结果出炉，我组18篇论文被ACL 2022录用，其中主会论文13篇，Findings论文5篇。以下为论文列...
与PLM有关的知识图谱构建相关文献-阅读笔记
weixin_41958290的博客
12-11 1391
在通过LLM生成T2G的过程中，验证器从LLM获取文本T和输出的图G，并向LLM发送校正信号（例如，“将文本转换为语义图，并将给定的三元组添加到生成的语义图”）。训练验证模块的方法：我们从一个种子数据集开始（包含文本和图的(T, G)对），通过在种子集上随意选取一个图G，并对其中的实体、关系或三元组进行任意的扰动，从而构造成一个图扰动数据集。此外，由于T5的tokenizer和WebNLG数据集的词汇覆盖范围不匹配，WebNLG中的一些字符在T5的词汇表中不存在，在tokenization的过程中被忽略。
知识图谱de构建与应用（四）：知识获取
u013250861的博客
07-16 857
知识获取是构建大规模知识图谱的重要环节，是对知识建模定义的知识要素进行实例化的过程，其依据领域知识表示实现从异构多源、多规模数据中获取知识，为后续知识融合、知识推理计算和知识赋能提供知识支撑。本章会首先介绍知识获取的一些定义、相关子任务以及一些有影响力的国际国内测评会议；然后针对一些比较重要、核心的子任务介绍相关的科学研究进展；最后针对阿里巴巴电商商品知识图谱，结合阿里巴巴的一个具体业务场景，介绍知识获取在产业界的具体实践和应用。1.实体链接任务的输入通常，实体链接任务会包含两部分的输入。[13]和。...
[论文笔记]SGPT: GPT Sentence Embeddings for Semantic Search
日积月累，天道酬勤
10-03 1454
⭐ 作者提出了利用仅编码器的类GPT架构来产生句子嵌入以支持语义检索和其他嵌入任务。在Bi-Encoder设置中，使用位置加权平均池化来得到具有语义信息的句子嵌入。在Cross-Encoder设置中，提取预训练GPT模型的对数概率产生无监督结果。
【论文阅读】Learning a Few-shot Embedding Model with Contrastive Learning
cainiaomyf的博客
10-06 773
少样本学习（FSL）旨在通过适应从源类中学习到的先验知识来识别目标类。这些知识通常存在于深度嵌入模型中，用于支持图像和查询图像对的一般匹配目的。本文的目标是将对比学习重新用于这种匹配，以训练少样本嵌入模型。我们做出了以下贡献：（i）我们在监督环境下研究了带有噪声对比估计（NCE）的对比学习，用于训练少样本嵌入模型；（ii）我们提出了一种新颖的对比训练方案，称为 infoPatch，利用了 patch 级别的关系，显著改进了流行的 infoNCE；
[论文笔记]DAPR: A Benchmark on Document-Aware Passage Retrieval
日积月累，天道酬勤
10-10 431
⭐ 作者提出了可以直接将长文本的全局文本信息拼接到切分后的文本块前面。全局文本信息有(1) 文档的标题 (2) 文档的关键短语，使用TopicRank算法抽取 (3) 共指解析，通过跨段共指解析消解来处理文本块中的代词。
【论文阅读】Semi-Supervised Few-shot Learning via Multi-Factor Clustering
cainiaomyf的博客
10-07 1077
标记数据的稀缺性和模型过拟合问题一直是小样本学习中的挑战。最近，半监督小样本学习被提出，以获取未标记样本的伪标签来扩展支持集。然而，在生成伪标签的过程中，未标记数据与标记数据之间的关系并未得到充分利用，这些伪标签中的噪声会直接损害模型的学习效果。为了解决图像分类中的上述问题，本文提出了一种基于聚类的半监督小样本学习方法（cluster-FSL）。通过使用多因素协同表示，我们设计了一种新颖的多因素聚类（MFC）方法，用于融合小样本数据分布的信息，可以基于标记数据为未标记样本生成软和硬伪标签。
论文阅读笔记-XLNet: Generalized Autoregressive Pretraining for Language Understanding
mohen_777的博客
10-08 1061
XLNet预训练阶段和BERT差不多，不过去除了Next Sentence Prediction，作者发现该任务对结果的提升并没有太大的影响。输入的值还是 [A, SEP, B, SEP, CLS]的模式，A与B代表的是两个不同的片段。更详细的实现细节可以参考论文源码。仍使用自回归语言模型，未解决双向上下文的问题，引入了排列语言模型。
论文阅读：Split-Aperture 2-in-1 Computational Cameras （二）
Matrix-11
10-07 887
接下来，文章介绍了二合一相机在几种场景下的应用，首先是高动态范围成像，现有的快照高动态范围（HDR）成像工作已经证明，使用条纹状点扩散函数（PSF）可以将局部高动态范围信息光学编码到附近的像素中，这种 PSF 可以在光学层面将饱和区域的图像内容展开成不饱和，并且与附近的图像区域叠加。由于未调制的捕获图像提供了场景中未饱和区域的信息，因此这个重建网络可以专注于从条纹图案中恢复饱和的高光区域，这些条纹图案是通过将高光区域与设计的点扩散函数进行卷积而产生的。然而，在实际中，这种分离并不完美，特别是对于离轴光。
论文阅读：OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning
最新发布
ghost_him的博客
10-10 583
由于时空预测没有标准化的比较，所以为了解决这个问题，作者提出了 OpenSTL，这是一个全面的时空预测学习基准。它将流行的方法分为基于循环和非循环模型两类。OpenSTL提供了一个模块化且可扩展的框架，实现了各种最先进的方法。给定一系列视频帧XtTxit−T1tXtT​xi​t−T1t​，涵盖了过去TTT帧，从时间t−T1t-T+1t−T1到时间ttt，目标是预测随后的T′T'T′帽Yt1T′xit1t1T。
【论文阅读】Cross Attention Network for Few-shot Classification
cainiaomyf的博客
10-06 866
少样本分类旨在仅给出少量标记样本的情况下，识别来自未见过类别的未标记样本。未见类
融合CNN和双向LSTM的实体关系抽取改进方法
通过实验，这些策略都显示了在实体关系抽取任务上的改进，尤其是在F1分数上，这表明了这种融合方法能更有效地识别和理解文本中的实体关系。 此外，文中还提到了“注意力机制”，这是一种在深度学习中用于突出重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值