多轮检索式对话——【ACL 2017】SMN

已于 2022-12-16 17:34:14 修改
阅读量311 收藏
点赞数
分类专栏： 大语言模型/对话问答/自然语言处理 深度学习基础/原理 文章标签： 深度学习 人工智能
于 2021-04-23 16:51:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011239443/article/details/116062210
版权

重磅推荐专栏： 《Transformers自然语言处理系列教程》
手把手带你深入实践Transformers，轻松构建属于自己的NLP智能应用！

《Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chat-bots》

本文通过使用卷积神经网络在多个粒度级别的上下文中对每个话语进行匹配，进一步改善了对语义关系和上下文信息的利用，然后通过时间顺序累积向量用于模拟话语之间关系的递归神经网络。作者认为构建问答历史语句和候选回复的交互表示是重要的特征信息, 因此借鉴语义匹配中的匹配矩阵, 并结合CNN和GRU构造模型:

在这里插入图片描述

与Multi-view模型类似, 这里作者也考虑同时提取词汇级和语句级的特征, 分别得到两个匹配矩阵M1和M2, 具体的:

• Word-Matching-M1: 对两句话的词做word embedding, 再用dot(ei,ej)计算矩阵元素

• Utterance-Matching-M2: 对两句话的词做word embedding, 再过一层GRU提取隐状态变量h, 然后用dot(hi,A*hj)计算矩阵元素

得到的两个匹配矩阵可视为两个通道, 再传给CNN+Pooling获得一组交互特征{vi}. 交互特征传入第二个GRU层, 得到{h’i}

最后的预测层, 作者设计了三种利用隐变量{h’i}的方式:

• last: 只用最后一个h’last传入softmax计算score
• linearly combined: 将{h’i}线性加权传给softmax
• attention: 利用attention机制计算{h’i}的权重

作者的实验表明采用attention的SMN效果最好, 但训练相对最复杂, last最简单且效果基本优于linearly combined.

小爷毛毛（卓寿杰）
关注
专栏目录
多轮对话——检索式
BshoterJ的博客
06-21 6726
针对近几年检索式多轮对话论文阅读和整理且基本在github有开源代码
【NAACL 2021】AugSBERT：用于改进成对句子评分任务的 Bi-encoder 数据增强方法
06-21 1014
论文地址：https://arxiv.org/abs/2010.08240目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。
多轮检索式对话——【ACL 2018】DAM
05-01 316
文本对于context和response语义上的联系更进一步，将 attention 应用于多轮对话，打破之前的 RNN 和 CNN 结构，在多轮上速度快，达到了目前最好效果。有n句utterance，Q就有有n个切片。对应n个utterance-response对的匹配矩阵, 每一片的尺寸都是(n_u_i, n_r)对应匹配矩阵中每个矩阵的尺寸。主要用到：self-attention 和 cross-attention。
【ACL2017】Sequential Matching Network
imsuhxz的博客
12-04 448
p2 in 2019/12/4 论文名称：Sequential Matching Network: A New Architecture for Multi-turn Response Selectionin Retrieval-Based Chatbots 论文作者：YuWu, WeiWu, ChenXing, ZhoujunLi, MingZhou 论文来源：ACL2017 下载链接：htt...
【NLP】ACL-2019 录用论文
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
浅谈多轮检索式对话最近的两篇SOTA-『MRFN』&『IMN』
乌云压顶是吧
02-05 1813
多轮检索式对话new SOTA review
豆瓣多轮语料,python,cnn,rnn,smn
最新发布
02-06
豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮语料,python,cnn,rnn,smn 豆瓣多轮...
检索式人工智障识记
乌云压顶是吧
11-17 626
多轮检索式对话模型综述
翻盖式NANO SIM卡座3D模型图，讯普型号SMN-305-P6
06-14
翻盖式NANO SIM卡座3D模型图，讯普型号SMN-305-P6方便各位直接导入适用，自己画起来比较麻烦，亲测可用。
检索式多轮对话系统论文：Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network 阅读笔记
zhucuankuan2669的博客
10-10 4308
此篇文献是百度发表于ACL2018 对话系统中，由于在context和response中有两种匹配对：（1）表面文本相关（2）潜在依赖，即在语义和功能上相关。之前论文多关注表面相关，对潜在依赖关注较少，所以本文努力解决这个问题。且对话系统中多采用RNN结构，但用RNN捕捉多粒度的语义表示花费代价较大，所以文本全部采用基于注意力机制的结构。 模型结构如上图所示。看起来很复杂，拆开来一点点看。...
《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems
北风吹过的秋
05-27 2135
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q 前言 本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。 开篇链接：2021深度学习对话系统大综述 [
多轮检索式对话——【EMNLP 2016】Multi-view
04-18 414
本文对一般词级上下文向量，以及对话语级别上下文向量理解，来进行上下文response匹配。作者提供了一种直接的单轮转多轮思路——将多轮问答语句合并为一列, 连接处用_SOS_隔开, 将整个对话历史视为"一句话"去匹配下一句。不过每次直接把 word embedding sequence 输入网络得到整个多轮对话的表示(context embedding)用GRU是很难学习的，所以文中提出将每个文本也做一次匹配，用的 TextCNN+pooling+GRU结构。
pytorch系列7 -----nn.Sequential讲解
热门推荐
墨流觞的博客
10-09 22万+
nn.Sequential
【论文阅读】 Sequential Matching Network
BeforeEasy的博客
07-24 1443
Sequential Matching Network: A new Architecture for multi-turn response selection in retrieval-based Chatbots  文章主要提出了一种模型（SMN），用检索的方式处理多轮对话系统 多轮对话，类似于Q,A,Q,A,Q...QF:  --> A 这种，有上下文，然后给出最后那个问题（...
详解PyTorch中的ModuleList和Sequential
Hali_Botebie的博客
03-04 1065
在使用PyTorch的时候，经常遇到nn.Sequential和nn.ModuleList，今天将这两个模块认真区分了一下，总结如下。PyTorch版本为1.0.0。 https://zhuanlan.zhihu.com/p/75206669 nn.Sequential与nn.ModuleList简介 nn.Sequential nn.Sequential里面的模块按照顺序进行排列的，所以必须确保前一个模块的输出大小和下一个模块的输入大小是一致的。如下面的例子所示： #首先导入torch相关包 import
多轮对话之对话管理(Dialog Management)
明日世界
09-22 7380
Table of Contents Dialog Management Initiative Basic concepts Challenges Structure-based Approaches Key Pharse Reactive Approaches Trees and FSM-based Approaches Principle-based Approaches Fr...
【Spark Mllib】TF-IDF&Word2Vec——文本相似度
06-21 2万+
一个比较通用的例子是使用单词的向量表示基于单词的含义计算两个单词的相似度。特征哈希通过使用哈希方程对特征赋予向量下标,这个向量下标是通过对特征的值做哈希得到的(通常是整数)。使用的哈希方程必须是一致的(就是说,对于一个给定的输入,每次返回相同的输出)。的含义是:在一个文档中出现次数很多的词相比出现次数少的词应该在词向量表示中得到更高的权值。最后的结果就是,稀有的或者重要的词被给予了更高的权值,而更加常用的单词(被认为比较不重要)则在考虑权重的时候有较小的影响。对于我们的任务来说,可以使用。
基于Spark的大数据精准营销中搜狗搜索引擎的用户画像挖掘
12-19 2万+
转载请注明：转载 from http://blog.csdn.net/u011239443/article/details/53735609 from CCF举办的“大数据精准营销中搜狗用户画像挖掘”竞赛 1. 选题背景与意义 1.1 用户画像与精准营销 “用户画像”是近几年诞生的名词。很多营销项目或很多广告主，在打算投放广告前，都要求媒体提供其用户画像。在以前，大多媒体会...
基于神经网络的文本特征提取——从词汇特征表示到文本向量
07-03 1万+
理解了基础的神经元模型，神经网络就很好理解了。神经元就像一块乐高积木，而神经网络就是搭的积木。如上图，xxx那一列，我们称为输入层，输出y\hat{y}y​那列称为输出层，中间那列称为隐藏层。隐藏层可以有多个，而且每个隐藏层有多少个神经元也都是可以自主调整的。经典的神经网络中，当前层的神经元会后后一层的各个神经元进行连接，这也称为全连接。
顺序匹配网络：检索式聊天机器人的多轮响应选择新策略
该论文发表于2017年7月30日至8月4日在加拿大温哥华举行的会议上，并提供了DOI链接（10.18653/v1/P17-1046），探讨了在基于检索的聊天机器人中进行多回合响应选择的新方法——顺序匹配网络（Sequential Matching ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小爷毛毛（卓寿杰）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值