【论文阅读】Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval

最新推荐文章于 2024-05-04 13:01:48 发布
最新推荐文章于 2024-05-04 13:01:48 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： 深度学习 nlp 相关论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/74858180
版权
本文介绍了一篇2017年ACL会议上的论文，该论文关注如何有效利用多轮对话中的上下文信息来进行回复选择。通过使用特定的模型架构，研究者能够从大量对话数据中（如UbuntuCorpus和DoubanConversationCorpus）学习到有效的表示方法。
摘要由CSDN通过智能技术生成

2017ACL 论文 作者有来自MSRA的
这里写图片描述

chatbot 中利用到多轮对话中上下文信息，答案是检索得到的，文章重点在讲如何对多轮对话上下文信息进行建模，答案候选抽取不是重点。

一个示例，比如在下图中两个候选中选哪个？显然应该是候选1，有上下文信息。
这里写图片描述

模型架构
这里写图片描述

实现结果
这里写图片描述

语料：
1. Ubuntu Corpus[1]
2. Douban Conversation Corpus

文章的语料与源码
github:
https://github.com/MarkWuNLP/MultiTurnResponseSelection

8.11 Matching Networks 匹配网络
炫云云
06-20 1123
文章目录1、前言2、方法2.1 Model 结构2、2Attention2、3完整的上下文Embeddings2、4训练策略参考 人类在很少的样本学习——例如，一个孩子可以从一本书中的一张图片概括出“长颈鹿”的概念。 然而我们最好的深度学习系统需要成百上千的例子。这激发了我们的兴趣:“one-shot”学习，即从一个单一的例子中学习。 对于one-shot学习的问题 ，Matching Networks能够在不改变网络的情况下，为未观察到的新类生成合理的标签。 1、前言 深度学习需要大数据，因为使用随机梯度
Matching Networks for One Shot Learning论文
Dream_xd的博客
04-16 471
文章目录摘要引言模型模型架构Full Context EmbeddingsThe Fully Conditional Embedding fThe Fully Conditional Embedding gTraining StrategyRelated work实验ImageNet参考 论文：Matching Networks for One Shot Learning 地址：https://...
Sequential Match Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Ch
liuyuemaicha的专栏
05-18 2730
论文链接： https://arxiv.org/pdf/1612.01627.pdfPaper总结笔记： 论文提出了一个基于检索的多轮闲聊架构 闲聊模型一般分为生成模型和检索模型，目前关于检索模型的闲聊还停留在单轮对话中，本文提出了基于检索的多轮对话闲聊。 多轮对话不仅要考虑当前的问题，也要考虑前几轮的对话情景。多轮对话的难点主要有两点：1.如何明确上下文的关键信息（关键词，关键短语或关键
【论文阅读】 Sequential Matching Network
BeforeEasy的博客
07-24 1460
Sequential Matching Network: A new Architecture for multi-turn response selection in retrieval-based Chatbots  文章主要提出了一种模型（SMN），用检索的方式处理多轮对话系统 多轮对话，类似于Q,A,Q,A,Q...QF:  --> A 这种，有上下文，然后给出最后那个问题（...
Matching networks
bbbeoy的专栏
09-30 242
https://www.cnblogs.com/veagau/p/12164335.html https://zhuanlan.zhihu.com/p/32101204 https://blog.csdn.net/bryant_meng/article/details/80662322
匹配网络 Matching Network
ywm_up
12-17 4730
匹配网络 Matching Network 匹配网络其实就是引入注意力机制，通过对 embedding 后的特征计算注意力，利用注意力得分进行分析： 首先也是对支持集和查询集进行 embedding，然后用查询集样本对每个支持集样本计算注意力： a(x^,xi)=ec(f(x^),g(xi))/∑j=1kec(f(x^),g(xj)) a\left(\hat{x}, x_{i}\right)=e^{c\left(f(\hat{x}), g\left(x_{i}\right)\right)} / \sum_
DSNet: A Flexible Detect-to-Summarize Network for Video Summarizationa论文笔记
废柴三小姐
04-11 4725
DSNet: A Flexible Detect-to-Summarize Network for Video Summarization GitHub地址：https://github.com/li-plus/DSNet.git DS网络：一个从检测到生成摘要的流畅产生视频摘要的网络 1.思路 1.1 DSnet 本文针对有监督学习方法中没有时序连贯约束导致的，在同一语义段中视频帧的预测分数不能准确地表示相应片段的重要性的问题，提出了一种从检测到摘要的网络结构DSnet。 DSnet将视频摘要看作一个关
论文阅读-《Deep Matching Prior Network:Towards Tighter Multi-oriented Text Detection》
yj_isee的博客
06-18 3784
CVPR2017 by Yuliang Liu & Lianwen Jin1.Motivation对于自然文本的检测任务，原来的方法都专注于用矩形框来对文本进行定位。但是实际上因为文本图像存在透视变换等等问题，图像里面的自然文本并不是严格地呈现矩形的。这个时候用矩形框来定位的话会有以下问题： 左边表示用四边形定位的结果，右边表示用矩形定位的结果。 (a)表示用矩形定位会引入不必要的overlap
Memory Fusion Network for Multi-view Sequential Learning注意力融合MFN
薄荷糖
01-14 2292
记忆融合网络MFN 第一个组成部分：每个视图都被赋予一个LSTM函数组件独立编码每个视图 第二个组成部分：Delta-memory Attention Network (DMAN) ，通过lstm系统来发现跨视图交互作用 第三个组成部分：存储跨视图信息在多视图门控记忆 视图N={l,v,a} 第n个视图的输入数据Xn = 【xn] 1.System of LSTMs 对于第n个视图，分配的LSTM被表示为，t是时间戳 每个LSTM的输出定义为 System LSTM允许不同视图具.
人体关键点检测——网络解读：Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose
shayinzzh的博客
05-16 2129
人体关键点检测之网络解读
A BIT-PARALLEL ALGORITHM FOR SEQUENTIAL PATTERN MATCHING WITH WILDCARDS
02-21
Pattern matching with both gap constraints and the one-off condition is a challenging topic, especially in bioinformatics, information retrieval, and dictionary query. Among the algorithms to solve ...
元学习系列（四）：Matching Network（匹配网络）
jesseyule的博客
01-02 1万+
对一个小孩子来说，只要你展示了一次斑马的样子，以后他就能指出什么是斑马了，整个学习的过程只有一个样本，但是对深度学习算法来说还远远达不到这种学习程度，所以研究如何通过小样本甚至一个样本进行学习，就成为了few-shot、 one-shot learning的目的。 当然这里的小样本指的是某一类的样本比较小，比如要分辨猫狗鸡，可能鸡的样本只有几个，但是猫狗比较多，在这种情况下模型如何学习才能更好地...
论文阅读笔记《Matching Networks for One Shot Learning》
深视
05-03 4579
核心思想 该文章采用一种带有嵌入特征提取器的最近邻方法实现了小样本或单样本分类任务，其集合了参量化方法和非参量化方法的优势。普通的最近邻算法，直接计算测试样本与各个类别的训练样本之间的距离，然后选择距离最近的K个样本，按照加权求和或投票法来决定测试样本所属的类别（kNN），该方法无需训练只需要保存所有训练样本的特征信息，属于非参量化学习算法。普通的神经网络算法，需要通过训练更新网络中的各个权重参数...
深入解析：匹配网络（Matching Networks）的原理和应用
qlkaicx的博客
05-04 2434
匹配网络是一个强大的元学习工具，能够在少样本的情况下进行有效的快速学习。对于面对少样本学习挑战的研究者和开发者来说，掌握匹配网络的理论和实践是非常有价值的。在训练过程中，这种网络学会如何根据样本之间的相似度进行有效的权重分配，以预测未见样本的类别。它们通过学习如何将新的未见过的样本与已知的少量样本进行比较和匹配，从而实现快速有效的学习。匹配网络是一种端到端（end-to-end）的学习框架，设计用来直接从给定的支持集（support set）中学习样本之间的相似度，以便于对新样本进行分类。
Matching Networks for One Shot Learning论文分析
热门推荐
hustqb的博客
11-08 1万+
Matching Networks for One Shot Learning Abstract 研究领域： One Shot Learning（小样本学习）从少量样本中快速学习，是传统监督学习和Deep Learning无法解决的问题，该研究领域被称为小样本学习。 创新： 以下两种方法结合： metric learning目前，小样本学习的主流方法 external memories以前小样本...
匹配网络matching-networks
庐陵居士
06-05 179
左侧为support set,右侧为query set,输入一张查询集(query set)照片去匹配左侧支持集中(support set)哪一张是最为相似的。蓝色狗对应label [1,0,0,0] 黄色狗对应label [0,1,0,0] 橙色狗对应label [0,0,1,0]算出来发现第四个类别的权重大小为[0.1 0.3 0.2 0.5]中的0.5，权重最高，故输入的图像对应第四个类别。红色狗对应label [0,0,0,1] 本来正常对应下来蓝黄橙红应该分别是0 1 2 3。
匹配网络（Matching Networks）和原型网络（Prototypical Networks）：区别详解
最新发布
qlkaicx的博客
05-04 1389
在机器学习领域，特别是在处理少样本学习（Few-shot Learning）问题时，匹配网络（Matching Networks）和原型网络（Prototypical Networks）都是非常流行的元学习模型。尽管这两种方法在目标上都是为了通过少量样本实现快速学习，但它们在方法论和实现上有显著的区别。理解这两种网络的主要区别有助于在实际应用中做出更合适的选择，以达到最佳的学习效果。匹配网络是一种基于注意力机制来实现的元学习模型，它通过直接比较支持集中的样本和待分类的目标样本来进行分类。
【One Shot】《Matching Networks for One Shot Learning》
bryant_meng
06-12 6897
  在目前的机器学习研究中，从少量的训练数据中进行学习还是一个非常大的挑战。例如在视觉、文本的处理上，传统的有监督的深度学习方法不能够从有限的数据中有效的学习新的概念。   本文受到利用深度神经网络来学习图像、文本特征的启发，通过拓展的外部信息加强记忆神经网络的效果，提出了一种针对one-shot学习的神经网络模型-Matching Net (MN).该模型可以将一个小的标注集合以及一个未标注的...
博士论文代码实现：Aligned Hierarchies for Sequential Data
资源摘要信息:本资源为博士论文“Aligned Hierarchies for Sequential Data”所配套的CRP (Chinese Restaurant Process) MATLAB代码，该代码主要用于处理和分析顺序数据的层次结构。CRP是一种概率模型，常用于聚类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>