A Compare-Aggregate Model For Machine Text Sequences

最新推荐文章于 2022-10-13 19:37:07 发布
最新推荐文章于 2022-10-13 19:37:07 发布
阅读量146 收藏
点赞数
分类专栏： 深度之眼文本匹配 文章标签： 神经网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ying_m/article/details/118378327
版权

目录

在这里插入图片描述

学习目标

在这里插入图片描述

论文导读

论文研究背景、成果及意义

研究背景

许多自然语言处理问题都需要对两个或更多的句子进行匹配、交互，然后做出决定。
例如：文本蕴含需要判断一句假设是否可以由前提推出；答案抽取型机器阅读理解需要匹配问题与文章，返回答案所在原文的起始与末尾位置。

相关工作

一、孪生神经网络
利用相同参数的网络接受两个输入，经RNN或CNN提取特征，后用余弦相似度或是其他方法进行分类。
二、注意力网络
软注意力(soft-attention)结构为了改善编码器-解码器模型的性能而应用机器翻译领域,成功显著,后被广泛应用于机器阅读理解、文本蕴含、智能问答等。
三、比较–聚合网络
何谓“比较”？

  • 交互。如图所示，C和D的生成都用到了A和B。我们说C、D都是A、B交互后的产物。A、B通过某种比较运算生成了C、D。并非通常理解的谁比谁大，谁比谁多的问题。
    在这里插入图片描述

何谓“聚合”？

  • 提取特征。全连接网络、CNN、RNN均能做到特征的提取、挖掘。均可充当聚合模块。聚合过程一般把文本的特征矩阵转化为特征向量，后跟softmax分类完成文本匹配任务。

相关工作与研究成果

前人研究工作中”比较-聚合“类模型出现的不足：
一、前人的模型只应用于一到两个任务，不能体现”比较-聚合“框架的泛华性。
【说明】”比较-聚合“突出的是一个思想，本身不针对具体的任务，在不偏离中心思想的情况下搭建模型，如果模型适用于多种任务，说明对这一思想的运用比较到位。本篇论文提出的模型只需要做细微的调整，就可以应用在四份不同的数据集(一份文本蕴含、三份智能问答)，作者以此来证明模型的通用性强。
**本篇论文：**使用了四份不同的数据集证明模型结果的强拓展性。

二、前人的研究中对”比较“部分的组成单元选择过于简略，比较函数单一。
**本篇论文：**使用了六种不同的比较函数，实验充足，结果说服力强。

实验结果：

  • ①论文模型在四份数据集上达到了当时的最优结果；
  • ②element-wise函数作为交互效果显著。

论文泛读

论文小标题

在这里插入图片描述

摘要

摘要核心：

  • 1.使用了”比较-聚合“框架模型。利用了词嵌入作为输入，CNN网络作为最后的聚合函数。
  • 2.注重于不同的比较函数来对输入文本的向量进行匹配。
  • 3.使用四份数据集来评估实验模型。
  • 4.有时，比较函数选择基于element-wise的简单函数比复杂的神经网络好。

论文精读

注意力机制

  • 注意力向量是一个加权向量，想要得到注意力向量要先求加权系数。
  • 加权系数一般由softmax归一化序列得到，这个序列由解码器上一位置的得出与编码器每个位置的特征向量依次计算相关打分得到。
  • 打分函数可选点积或神经网络。

Compare-Aggregate 整体结构

问题描述与标记
在这里插入图片描述所进行实验均为有监督训练。输入数据格式为(Q,A,y)的三元组形式。
整体结构：
在这里插入图片描述预处理层：将输入文本转换成词向量后，进行语义特征提取，通常使用的方法为双向LSTM，但作者采用的是简化LSTM结构；
注意力层：文本间注意力机制的使用，完成Q与A生成H的任务；H的列维度与A是对应的，H中的每一个向量都是A的一个加权和；
比较层：比较的两部分为A和H，比较的结果为t，长度为A；
聚合层：使用CNN网络进一步提取特征，得到向量r；r向量经过全连接和softmax实现最终的分类。

预处理与注意力层

(学习一下，注意力在模型中是怎么使用的，用在了模型中哪一部分，起到了什么作用，带来了什么效果等)

预处理

没有使用常见的双向LSTM网络进行语义特征抽取，作者采用了一种简化的LSTM/GRU的门控结构对输入文本进行处理。
在这里插入图片描述
Sigmoid部分可理解为LSTM的输入门。Tanh部分是正常的全连接激活函数，sigmoid控制tanh部分的输出比重。W，b为权重系数与偏置项，式中叉乘代表克罗内克积，具体体现为将列向量b复制Q份拼接起来组成一个1×Q的矩阵与WiQ的结果矩阵维度保持一致。Q是由多个向量拼接起来的，并不像图片那样作为一个整体，偏置向量要和输入保持统一，输入本质上是一条一条的词向量，并不是一个大矩阵，因此偏置也应是向量的形式，为了统一计算，才不得已扩展成矩阵。

注意力层

注意力矩阵G与注意力运算结果H
在这里插入图片描述
G中，softmax操作为对列方向softmax
运算结果H维度与A一致。H中浓缩了A中每个单词对文本Q不同位置注意力程度的加权。

比较与聚合层

比较函数

比较层的输入： H与A—
记两者第j个位置的列向量为hj与aj—。比较函数为f，tj为比较后的输出。
一、神经网络(NN)
在这里插入图片描述
参数W维度l×2l，b为l维向量。
在这里插入图片描述
二、神经张量网络(NTN)
在这里插入图片描述
张量T维度l×l×l，本质为l个l×l矩阵。向量aj—与每个矩阵运算后得到的所有l维向量拼接后再与hj向量做运算。
在这里插入图片描述
三、欧氏距离+余弦相似度（EucCos）
在这里插入图片描述
提取并拼接了hj与aj—的欧式距离与余弦相似度作为比较的结果。
四、对应位置差运算(SUB)
在这里插入图片描述
做差后再平方，不会出现负数。只保留两者差异性程度
五、对应位置积运算(MULT)
在这里插入图片描述
在这里插入图片描述
六、NN+Sub+Mult(一+四+五)
在这里插入图片描述
捕获了注意力结果与输入之间的差异性特征(差运算)、相似性特征(积运算)。
再利用神经网络进行深度特征抽取，取多方之长，集多种方法于一身。

聚合函数

每个位置比较后的结果拼接起来，送入单层CNN网络
在这里插入图片描述
最终r的维度为n×l向量，n为CNN窗口，文中使用的CNN结构为text-CNN中所使用的。
在这里插入图片描述

实验设置与结果分析

实验数据集

1.Movie-QA:电影故事理解与问答数据集
在这里插入图片描述2.InsuranceQA:保险相关问答数据集
给定一个问句(题干)，需要从备选项中选出一条最符合题干的答案。
在这里插入图片描述3.WikiQA:开放领域问答数据集
在这里插入图片描述4.SNLI:文本蕴含数据集
在这里插入图片描述

实验处理

在这里插入图片描述

在这里插入图片描述wT的作用是用作维度的转换。

Compare-Aggregate整体结构

在这里插入图片描述

实验结果

  • 论文使用的Comparison-aggregate模型在四份数据集上均取得了优异的结果
  • SubMult+NN是综合表现最优秀的比较函数
  • 一些很简单的比较函数也能表现出逼近神经网络模型的效果(如EucCos在MovieQA上的表现)
    在这里插入图片描述

论文总结

关键点

  • 沿用comparison-aggregate框架并改进
  • 利用多份数据集 证明模型的泛华性
  • 利用多种比较函数 探究文本交互的最佳方式

创新点

  • 运用简化门控单元 提取语义特征
  • 利用注意力机制 完成句子间交互
  • 利用向量的差和积 进行特征提取
  • 拓展性强 ，对于不同数据集(任务)，模型的改动很小
尧景
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
compare-aggregate模型 基于文档的问答系统（基于深度attention_LSTM）
12-11
对论文A Compare-Aggregate Model for Matching Text Sequences中模型进行复现 并增加了attention 代码基于python tensorflow cpu版本
Compare-Aggregate模型
gg13213的博客
09-27 306
Compare-Aggregate模型SEQ2SEQ模型文本间attention应用Compare-Aggregate模型比较层代码 SEQ2SEQ模型 即：输入输出均为序列的模型为seq2seq模型。例如生成式聊天机器人、机器翻译。 文本间attention应用 假设有两个输入文本：text_a和text_b，两个文本经LSTM后有输出向量A、B（A和B维度一致）。 A关注B生成A的新特征表示： 首先计算attention系数：alpha=softmax（A∗BT)alpha = softmax（A*B
文本匹配之Com-Agg：A Compare-Aggregate Model For Matching Text Sequences
iin729的博客
11-17 640
简介 论文标题：一个用于匹配文本序列的比较聚合模型 作者:Shuohang Wang Jing Jiang 单位:新加坡管理大学信息系统学院 发表会议及时间:ICLR 2017 研究对象 解决NLP中序列匹配问题，包括机器理解、答案选择、文本蕴含、文本相似等。 问题定义： 使用两个矩阵Q∈Rd×Q和A∈Rd×A来表示两个序列的词嵌入（word embedding），其中 Q 和 A 分别是两个序列所含单词的个数，d 是词嵌入的维数，即Q和A的每个列向量都是表示单个单词的嵌入向量。 给定一对Q和A，目标是预
Comp-Agg (A Compare-Aggregate Model for Matching Text Sequences)
BUPT-WT的博客
02-14 412
CompareAggregate研究意义: 1、采用“比较-聚合”框架，并对此进行改进 2、采用多种数据集验证模型的泛化性 本文主要结构如下所示: 一、Abstract 摘要部分主要介绍本文利用词嵌入作为输入，CNN网络作为聚合函数，提出比较聚合框架；关注于不同的比较函数来对文本向量进行匹配；并且使用不同的几份数据评估模型； 基于element-wise的比较函数可能会比复杂神经网络效果更好。 二、Introudction 首先提及了很多自然语言处理任务都需要对...
【文本匹配】Compare-Aggreaget
qq_45637001的博客
10-13 116
先占个坑，回头会阅读并分享
maven-site-aggregate-plugin-2.7.0.jar
03-14
maven-site-aggregate-plugin-2.7.0.jar
debug-mongoose-aggregate：用于猫鼬的简单聚合调试器
02-04
6. **项目结构**：从压缩包文件名`debug-mongoose-aggregate-master`可以推测，这是一个开源项目，很可能包含了源代码、示例、文档等资源。如果你需要更深入地了解或定制这个工具，可以从源代码中学习和探索。 综上...
mongoose-aggregate-paginate:Mongoose插件易于为聚合添加钉子
05-17
猫鼬-聚集-分页mongoose-aggregate-paginate是一个插件，易于为聚合添加分页。 该插件可以与视图分页中间件（例如结合使用。指数安装npm install mongoose-aggregate-paginate --save用法必须首先将此插件添加到架构...
meteor-reactive-aggregate:与MeteorReact性地发布聚合
05-06
meteor add jcbernack:reactive-aggregate 该帮助程序可用于以React方式发布聚合结果。 用法 ReactiveAggregate(subscription, collection, pipeline[, options]) subscription应该永远是this的出版物。 ...
【论文笔记】A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES
Herbe_chanceux的博客
09-29 836
论文目录AbstractIntroductionMethodExperiments Abstract 许多NLP任务，包括机器阅读理解、答案选择和文本涵义都需要进行序列之间的比较，寻找序列间的重要元素是解决这些问题的关键。在本文中，提出来一种较为通用的compare-aggregate框架，该框架先进行词级别的匹配，然后使用CNN进行聚合。主要用两种不同的比较函数去匹配两个向量。使用四种不同的数据集进行评价模型的性能。发现一些基于元素运算的简单比较函数（simple comparison functions
golang_compare
01-11
golang_compare Small util to campare two files and get result
【文献阅读2】A Compare-Aggregate Model For Matching Text Sequences
qq_41819076的博客
07-29 866
A Compare-Aggregate Model For Matching Text Sequences(一个用于匹配文本序列的比较聚合模型) 注：转载请标明出处。相关论文链接：https://arxiv.org/pdf/1611.01747.pdf 1 摘要 NLP包括机器理解、答案选择、文本蕴含中的序列之间比较等任务。研究如何在序列之间，匹配重要单元是解决这些问题的关键。在本文中，我们提出了一个通用的“比较聚合”框架，该框架执行单词级别的匹配，使用卷积神经网络进行聚合。本文主要研究可用于匹配两个向量的
Writing a Compare and Contrast Essay
倔强的晓奇
12-09 7693
Apples and oranges. All you need do in writing a compare and contrast essay is take two subjects and show their similarities and their differences. When writing a compare and contrast essay, the basic
蚂蚁金融NLP竞赛——文本语义相似度赛题总结
热门推荐
小简铺子
07-13 3万+
1前言 许久没有更新博客了，主要是忙于考试周和最近参加的一个蚂蚁金融的NLP比赛——文本语义相似度赛题。话不多说，直奔主题。本篇博客主要记录的是自己入门NLP以来第一次参加NLP性质的赛题的详细解题过程。接下来将分成三个部分进行叙述：赛题描述、解题思路及相关代码实现、赛题总结. 项目代码地址及说明 2赛题描述 说明：问题相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相...
R数据整合（aggregate）和重塑（reshape）
女王的code
11-08 5596
compare基于规则的快速比较_用于文本序列匹配的比较聚合模型
weixin_39614750的博客
12-18 241
许多NLP任务如机器理解、响应选择等都需要序列之间的比较。序列间重要单元的匹配是解决这些问题的关键。本文提出了一种通用的比较-聚合框架，该框架采用卷积神经网络进行词级的匹配和聚合。本文特别关注可以用来匹配两个向量的不同比较函数。本文使用四个不同的数据集来评估模型。可以发现一些简单的基于元素操作的比较函数比标准神经网络和神经张量网络更有效。原文链接：https://arxiv.org/pdf/161...
“Paper + Code”加量豪华套餐 | PaperDaily #04
Paper weekly
10-13 651
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。 这是 PaperDaily 的第 4 篇文章[ 自然语言处理 ] ZhuSuan: A Library for Bayesian Deep L
文本匹配_文本匹配函数小结(1)
weixin_35974392的博客
12-18 1165
写在前面本文是对一些文本匹配的核心函数做一个梳理(正好前段时间一直在搞检索问答相关的实验，核心之一在于如何构建匹配函数得到二维匹配矩阵)，内容包含Attention Pooling模型、Decomposable Attention模型、SUBMULT+NN模型、BiMPM模型、ESIM模型。这些函数有的仅仅用于问答，有的用于自然语言推理(NLI)，发展还是很有规律的。另外，本文只涉及模型的结构做法...
try<-aggregate(NO~ID+hour, query, length )
最新发布
06-09
需要注意的是，这里使用了 R 中的 `aggregate` 函数，它的基本语法是 `aggregate(formula, data, FUN)`，其中 `formula` 表示需要聚合的列（或变量）和聚合函数的组合，`data` 表示数据框，`FUN` 表示聚合函数。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值