Enhanced LSTM for Natural Language Inference

最新推荐文章于 2024-05-25 09:51:08 发布
最新推荐文章于 2024-05-25 09:51:08 发布
阅读量549 收藏 5
点赞数 1
分类专栏： 深度之眼文本匹配 文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ying_m/article/details/118423980
版权
该博客介绍了ESIM（Enhanced Sequential Inference Model），一种在自然语言推理任务中表现出色的模型。ESIM通过精心设计的LSTM序列推理结构，无需复杂的网络架构，就能超越先前的模型。它引入了语法树信息，通过树型LSTM增强语义表达，并利用注意力机制捕获局部特征。实验表明，ESIM在SNLI数据集上实现了88.6%的准确率，提升了模型的智能推理能力。
摘要由CSDN通过智能技术生成

目录

在这里插入图片描述

学习目标

在这里插入图片描述

论文导读

论文研究背景、成果及意义

研究背景

  • 无论是人，还是机器。推理的能力都是其具备智慧的一种体现，推理能力越强，越具备智慧。不断改进模型，提高模型效果，进而提高机器的智能。
  • SNLI数据集为自然语言推理（NLI）提供了大规模训练的数据集和统一的评价标准，激发了研究者的热情。

研究成果

在这里插入图片描述
在这里插入图片描述
syn.tree句法树作用：增强语义表达，整体表现锦上添花。
用语法树提取语义特征。

论文泛读

论文小标题

在这里插入图片描述

摘要

在这里插入图片描述

  • 推理是人和机器智能的关键体现
  • SNLI为推断模型提供了良好的数据支撑
  • 我们的模型在SNLI测试集准确率中取得了最佳成绩

Unlike the previous top models that use very complicated network architectures, we first demonstrate that carefully designing sequential inference models based on chain LSTMs can outperform all previous models.

不像之前的最佳的模型那样通过堆叠模型复杂度来获得优异效果，我们论证了：基于LSTM的序列推理模型的性能可能超过之前所有模型。
【来自Introduction】
为什么之前的模型结构复杂还没有ESIM效果好？答：之前的模型结构对模型推理能力的挖掘不够深入。

Based on this, we further show that by explicitly considering recursive architectures in both local inference modeling and inference composition, we archieve additional improvement.

基于上述模型(指ESIM)，我们在局部推理建模层和推理组合层使用了递归结构(指树型LSTM)模型的效果进一步提升。

We show that by explicitly encoding parsing information with recursive networks in both local inference modeling and inference composition and by incorporating it into our framework, we achieve additional improvement, increasing the performance to a new state of the art with an 88.6% accuracy.

将语法树融入模型，模型在SNLI数据集上的准确率高达88.6%

摘要核心

  • 作者不像之前网络那样堆叠模型结构
  • 无需复杂网络结构，精心设计基于LSTM的模型依然有强劲的效果
  • 融合语法树结构，使得原本就已足够强大的模型效果更上一层楼

论文精读

ESIM整体结构

在这里插入图片描述语法树与ESIM在形式上保持一致，语法树在输入编码层和推理组合层采用树型LSTM的结构，语法树部分的输出与ESIM的输出在特征维度上拼接起来，一起做结果预测。两部分网络结构是可以独立的。
ESIM执行流程：
输入编码层： 输入为两句话，图中表现为前提(Premise)和假设(Hypothesis)，在输入编码层，两句话进行的处理为把句子中的单词转换为词向量，这样一句话就变成了一个矩阵或者说是一个向量组成的一个序列，二将两句话的矩阵分别送入各自的双向LSTM中，进行语义特征抽取，这是很基本的特征提取操作。
局部推理建模层： 主要为注意力运算，注意力机制的运用是为了捕获文本间的局部特征。在ESIM中，两句文本生成注意力矩阵后，又通过element-wise方法构造了一些特征，基于element-wise的减法和乘法在ESIM中也有体现。
推理组合层： 这一层的表示图与输入编码层一模一样，实际上也没有差别，这一层的网络结构也是双向lstm，可以理解为在捕获文本间注意力特征之后，进一步做融合提取语义特征的工作，聚合的作用是压缩特征。这一路走下来都是特征矩阵，目标是做softmax分类，需要一个特征向量，比较聚合模型采用的方法是把最终的矩阵展开，展成一个向量。ESIM采取平均池化和最大池化两种池化方式，在图中表现为输出预测层中，将两种池化的方式进行拼接，再接softmax做最后的分类。

输入编码

** 标记说明:**
在这里插入图片描述
a、b已经转化成词向量的形式。
在这里插入图片描述
经过各自的BiLSTM进行语义特征的提取。

在这里插入图片描述

在这里插入图片描述
语法树：
此部分为了解部分内容。
在这里插入图片描述在这里插入图片描述
树型LSTM有两个遗忘门，分别是左遗忘门和右遗忘门。对于左遗忘门，需要左孩子的cell状态Ct-1L以及左右两孩子的输入特征ht-1L和ht-1R，当前部分的输入xt，普通LSTM只需要Ct-1和ht-1。至于输入门和输出门，树型LSTM和普通的LSTM并没有太大的差异，只是树型LSTM不管哪个门，都需要左右两个孩子的输入特征。下图为两者的公式：
在这里插入图片描述树型LSTM与普通LSTM相比较，多了一个遗忘门以及每个位置需要两个孩子的特征向量以外，结构上并没有太大的区别，核心框架一模一样。所谓的语法树LSTM编码为文本经过语法结构后，送入到树型LSTM网络

局部推理建模

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

推理组合与输出预测

在这里插入图片描述
这里的平均池化操作是在句子长度的方向上进行的
在这里插入图片描述
在这里插入图片描述

ESIM整体结构

在这里插入图片描述

实验设置与结果分析

实验细节

  • 优化器使用Adam，第一参数为0.9，第二参数为0.999
  • 学习率lr = 0.0004，batch_size = 32
  • 使用预训练词向量< 300-D-Glove 840B >
  • 所有LSTM隐藏单元数设置为300
  • dropout比例为0.5

实验结果

从模型参数量、训练集准确率、测试集准确率三个维度考量模型。
在这里插入图片描述

消融实验

在这里插入图片描述可见，全连接网络层提取语义特征的能力不如双向LSTM
(25)可见，只使用语法树的结果与ESIM的使用不相上下，说明ESIM和语法树对文本间的关系推断标准类似。
但是训练一个语法树的特征需要40+小时，而ESIM只需要6个小时。

注意力可视化的实验

在这里插入图片描述判断sitting与standing是冲突的，就是后面神经网络所需要做的了

论文总结

  • 深度挖掘了文本间的语义、关系特征。
    （双向LSTM->注意力交互 ->特征构造、拼接 ->双向LSTM ->特征压缩 ->输出预测）
  • 加入了文本的语法结构信息。
尧景
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【NLP】文本匹配——Enhanced LSTM for Natural Language Inference阅读与总结
让算法融入生活，改变生活！
04-17 1047
背景 这篇论文是来自于 ACL 2017，论文地址：https://arxiv.org/abs/1609.06038. 首先了解一下什么是， Natural Language Inference，自然语言推理。根据Natural language inference上的介绍：Natural language inference is the task of determining whether a “hypothesis” is true (entailment), false (contradictio
论文笔记&翻译——Enhanced LSTM for Natural Language Inference(ESIM)
Congying-Wang的博客
12-13 5938
文章目录0.前言1. 模型结构1.1 input encoding1.2 local inference modeling1.3 inference composition2. 模型实现 0.前言 在Query 扩召回项目中，通过各种手段挖掘出一批同义词，想对其进行流程化，所以考虑加上语义推断，在同事的推荐下使用了 EMIS 模型，据了解这个模型在近两年横扫了好多比赛，算是 NLI (Natura...
ESIM：Enhanced LSTM for Natural Language Inference
garbage回收中心
11-29 986
对于自然语言推理任务，Bowman等人在2015年提出了一个大数据集，大多数工作就开始使用神经网络来对该任务进行训练。但作者认为序列模型的潜力还没有完全被挖掘，因此提出了一个基于chain LSTMs的序列模型，该模型比先前的模型效果都要好，另外融合循环结构后，性能得到进一步提升，特别是在纳入语法信息后达到了最好的结果。自然语言推理（NLI）中一个任务是RTE（recognize textual entailment），就是判断两个句子之间的关系，存在三种情况：矛盾、无关以及蕴含。
推荐开源项目：增强型LSTM用于自然语言推理
最新发布
gitblog_00088的博客
05-25 246
推荐开源项目：增强型LSTM用于自然语言推理 项目地址:https://gitcode.com/lukecq1231/nli 在人工智能领域，自然语言处理（NLP）一直是研究的热点，其中自然语言推理是一项至关重要的任务。Enhanced LSTM for Natural Language Inference 是一个基于Theano库的开源项目，旨在通过增强型长短期记忆网络（LSTM）改进对文本关系...
ESIM (Enhanced LSTM for Natural Language Inference)
BUPT-WT的博客
02-16 421
ESIM历史意义: 1、 深层次的挖掘文本间的语义关系特征 2、加入文本语法结构信息 本文主要结构如下: 一、Abstract 1、推理是人工智能的关键体现 2、SNLI为推理模型提供数据支撑 3、文中提出的模型不需要复杂的模型结构且效果较好 4、融合语法树模型，效果更佳 二、Introduction 主要介绍数据集和推理的相关背景知识 三、Related Work 简单的介绍了相关工作以及数据集的相关应用情况 四、Hybrid Neu...
Enhanced LSTM for Natural Language Inference(ESIM)阅读笔记
Leokb24的博客
04-08 668
文章目录模型介绍Hybrid Neural Inference Models1. Input Encoding2. Local Inference Modeling3. Inference Composition 模型介绍 Hybrid Neural Inference Models 可以用BiLSTM编码, 也可以使用Tree-LSTM. 这里只介绍基于BiLSTM的结构. 1. Inpu...
Spectrophotometer with enhanced sensitivity for uric acid detection
02-22
A spectrophotometer with an LED as the light source for uric acid detection is proposed in this work. The mechanism of uric acid detection is based on energy absorbed by sodium urate, which is a ...
Models for Probability and Statistical Inference
08-20
Models for Probability and Statistical Inference was written over a five-year period and serves as a comprehensive treatment of the fundamentals of probability and statistical inference. With detailed...
Enhanced Coolscan backend for SANE-开源
05-04
对于“Enhanced Coolscan backend”，用户可以参与到开源社区，与其他开发者交流，分享使用经验，甚至贡献自己的代码，以促进项目的持续发展。 总的来说，开源SANE的“Enhanced Coolscan backend”为Coolscan扫描仪...
manaba Enhanced for Chuo-crx插件
04-04
语言:日本語 使您的manaba更舒适 这个软件重建“Manaba增强了Tsukuba”。谢谢mkobayashime。...按时间折叠在我的页面上显示的任务列表红色：还有一天，直到截止日期黄色：3天直到截止日期绿色：7天直到截止日期2....
《Enhanced LSTM for Natural Language Inference》（自然语言推理）
anqiu4023的博客
05-28 217
解决的问题 自然语言推理，判断a是否可以推理出b。简单讲就是判断2个句子ab是否有相同的含义。 方法 我们的自然语言推理网络由以下部分组成：输入编码（Input Encoding ），局部推理模型（Local Inference Modeling ），和推理合成（inference composition）。结构图如下所示： 垂直来看，上图显示了系统的三个主要组成部分；水平来...
【NLP】文本匹配——Enhanced LSTM for Natural Language Inference算法实现
让算法融入生活，改变生活！
05-01 1155
背景 前文【NLP】文本匹配——Enhanced LSTM for Natural Language Inference阅读与总结已经介绍了ESIM的相关原理。下面我们来复现一下这篇文章的代码。代码已上传GitHub：https://github.com/Htring/ESIM_Text_Similarity_PL。有兴趣的可以看看源码。当然本代码也参考了：https://github.com/coetaur0/ESIM程序。该项目也为ESIM绘制了比较漂亮的图片，来看看模型架构，熟悉一下模型就开始书写模型
Enhanced LSTM for Natural Language Inference-学习笔记
ChanYeol666的博客
10-12 285
Enhanced LSTM for Natural Language Inference 自然语言推理（NLI: natural language inference）问题：即判断能否从一个前提p中推导出假设h，简单来说，就是判断给定两个句子的三种关系：蕴含、矛盾或无关。 论文中的自然语言推理网络由以下部分组成：输入编码（Input Encoding ），局部推理模型（Local Inference Modeling ），和推理合成（inference composition）。 若有两个句子a=(a
[ACL2017]Enhanced LSTM for Natural Language Inference
Deep Learning and NLP Farm
08-15 2844
网络的大体框架： 图左侧是sequential model, 右侧是 Tree-LSTM model 自下而上由三个部分组成： (1) input encoding (2) local inference modeling (3) inference composition 接下来针对每一部分给出详细解释： 第一部分：input encoding A: sequential mo
【论文泛读】Enhanced LSTM for Natural Language Inference
是木子啦~
08-23 143
论文链接：https://arxiv.org/pdf/1609.06038.pdf Abstract Reasoning and inference are central to human and artificial intelligence. Modelinginference in human language is very challenging. With the availability of large annotated data (Bowman et al., 2015), it h
论文笔记：Enhanced LSTM for Natural Language Inference
David_B的博客
07-13 294
Enhanced LSTM for Natural Language Inference https://arxiv.org/pdf/1609.06038v3.pdf Related Work Enhancing sequential inference models based on chain networks Further, considering recursive architectures to encode syntactic parsing information Hybrid Neu
【论文笔记】Enhanced LSTM for Natural Language Inference（1609）
记录每一次小小的进步
10-27 335
Enhanced LSTM for Natural Language Inference（1609） 这篇论文提出了一个用于处理推理任务的模型，ESIM，并运用语法树为其附加信息，在SNIL上取得了88.6（单ESIM 88.0）的成绩。 时间原因没有看Tree-LSTM，据说现在已经被GNN取代。 模型总览 模型基本框架是BiLSTM（input encoding）— Attention（loc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值