ACL 2017 End-to-end Neural Coreference Resolution论文阅读

最新推荐文章于 2024-07-25 17:13:21 发布
最新推荐文章于 2024-07-25 17:13:21 发布
阅读量839 收藏 20
点赞数 20
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52658812/article/details/134764642
版权

ACL 2017 |End-to-end Neural Coreference Resolution

  • 该文章使用端到端的神经网络模型实现指代消解，在不需要语法分析和命名实体识别的情况下，表现超过了之前的所有模型的效果。

1 问题

以往的共指消解模型都基于机器学习的方法，没有端到端的神经网络的方法

2 解决方法

提出了第一个end-to-end coreference resolution model

3 Abstract

  • 核心思想：通过考虑文档中所有的span【文本中的子串/短语】以及学习每个span可能的指代。
  • 方法：计算结合上下文相关的边界表示和【head-finding attention mechanism】寻头注意力机制的span embedding
  • 训练目标：配合上剪枝，训练得到在共指簇中可能性最大的指代span
  • 实验表现：在OntoNotes基准上 F1的增益为1.5，在5个模型集成上 F1的增益为3.1

4 Introduction

  • 解释了本文第一次使用了端到端的模型，这就意味着只需要考虑输入，通过模型即可得到输出，不依赖句法分析器。
  • 模型所完成的事：模型对包含所有span的空间进行了最大长度的推理，直接优化了来自gold coreference clusters（黄金共指聚类）的antecedent spans的边际可能性。并包括一个span-ranking model，它决定了对于每一个span，前几个span(如果有的话)中的哪一个是好的antecedent（先行词）。
  • 模型的核心是表示文档中文本span的向量嵌入，它是将上下文相关的边界表示和span的注意力机制相结合。
  • 文档长度为L， 那么计算所有span的得分的复杂度就是L的四次方，是不实际的；所以计算一元的mention【文本中的指代】得分和成对的antecedent scores，在mention 得分的基础上做剪枝，然后前值对得分的计算量就会减少很多

5 Task

将端到端的共指消解任务表示为文档中每个可能span的一组decisions.

  • 假设对于某个文档表示为 D，文档中有 T 个word，文档中就有N个可能的span (N= T(T+1)/2)

    \# 例句 I need you. 有3个word

    6种可能的子串：I |need |you |I need|I you |need you|

  • 对于某个span表示为 i ，它的头索引为START(i)，尾索引为END(i)，然后通过START(i)进行排序，如果START(i)相同，再比较END(i)进行排序。

  • 对于某个span表示为 i，任务是给它分配对应的antecedent(前件) yi, yi可以确定是span i的前面出现过的span或者没有前指（本身就没有/还没出现，在后面），每个yi 的可能赋值集合为Y ( i ) = {Σ，1，…，i-1 }，一个虚拟的先行词Σ和所有的先行词.

  • Σ有两种可能的情况：

    （1）某个span本身不是一个实体的mention【指代】

    （2）span是实体的指代，但没和之前的span形成共指

6 Model

目标：

  • 学习一个条件概率分布，使得最有可能的共指簇的概率最大：

在这里插入图片描述

​ （1）s(i, j) 表示在某个文档中，span i 和 span j 共指的得分

​ （2）计算s(i, j)：1）span i 的得分（span i 是否是一个mention）

​ 2）span j 的得分（span j 是否是一个mention）

​ 3）span j 是 span i 的前指的得分（span j 是否是 span i 的前指）

​ （3）当span i 没有前指时，s(i, j) 的得分为0

在这里插入图片描述

Sm ( i )是span i 是一个mention的一元得分，sa( i , j)是二元得分，其中span j 是span i的先行词。

如何计算得分：

  • 通俗来讲就是让向量的表示【Embedding】经过一个全连接神经网络【FNN】，即获得得分
  • 模型的核心是每个可能span i 的向量表示 gi。
  • 抽取了所有span的特征向量 gi 后，需要完成两个任务，一是判断这个span是否是一个指代，二是判断任意两个span是否是coreference的关系。对于任意两个span i 和 j，它们的打分公式如下图所示，包含三部分，分别表示三个意思：span i 是一个指代吗、span j 是一个指代吗、span i 和span j 是coreference关系吗。三部分的概率计算方法也是全连接网络FFNN的方法。
    在这里插入图片描述

​ · 表示点积，o 表示逐元素乘法，FFNN是一个前馈神经网络，用于计算从输入向量 到输出向量的非线性映射

​ 特征向量φ ( i , j)从元数据中编码说话人和体裁信息，以及两个span之间的距离。

如何得到span的embedding表示

作者认为，对于某个span，它的上下文背景的指代span和他的span本身结构十分重要；用双向LSTM对每个span的内部和外部的信息进行编码，每个span的中心词【head word】用注意力机制进行建模。

（1）假设输入word i ，对应输入向量表示 x i { x1，. . .，xT }【i 对应的预训练的word embedding和经过charCNN得到的embedding拼接的得到的embedding】——> LSTM

（2）为了计算每个span的向量表示，首先使用bidirectional LSTMs来编码其上下文中的每个单词：

在这里插入图片描述

σ∈{ -1，1 }表示每个LSTM的方向性
在这里插入图片描述

（3）对于x* i ，使用注意力机制对word的重要单词进行学习，分配不同权重得到x^i——>进行向量拼接

在这里插入图片描述

（4）包含4部分：span的起始和终止位置的特征向量【包含这个span的起始和终止位置的特征】；这个span的attention表示向量【提取这个span表示的核心信息，比如the black cat中cat是核心信息】；以及一些额外的特征。

在这里插入图片描述

剪枝：

  • 计算完每个span的得分后，对得分高的保留，得分低的剪掉；对于保留下来的，每个span也只考虑指定个数的前指。降低计算量的同时，仍然有不错的召回率。

优化目标：

在训练数据中，只观察到聚类信息。由于前因是潜在的，我们优化了Gold聚类隐含的所有正确前因的边缘对数似然：

在这里插入图片描述

GOLD ( i )是包含span i的正确簇中span的集合。如果span i不属于一个正确簇或者所有的先行词都被剪枝，则GOLD ( i ) = { Σ}

模型图：

从下至上

在这里插入图片描述

mention score这里进行了剪枝

在这里插入图片描述

在这里插入图片描述

7 Experiments

  • 使用CoNLL-2012的英文指代消解英文数据集，训练集2802个文档，验证集343个文档，测试集348个文档。训练集平均每个文档有454个字，最长的文档有4009个字。

  • 实验效果

    在这里插入图片描述

一只菜鸡...):
关注
  • 20
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
End-to-end Neural Coreference Resolution
Jeaksun的博客
07-24 709
本文介绍了一个端到端的共指消解模型，在不使用语法解析器或手工设计的提及检测器下，可以达到不错的效果。其关键思想是将文档中的所有span直接考虑为潜在提及，并了解每种可能的先行语的分布。该模型计算span嵌入，该span嵌入结合了上下文相关的边界表示和发现注意机制。...
指代消解《End-to-end Neural Coreference Resolution》
Answer3664的博客
11-06 3001
Motivation： 之前提出用神经网络做指代消解任务的思想都使用句法分析的结果或者手工构造的特征作为输入。这篇文章第一次使用端到端的模型，证明了在不需要输入额外的特征的情况下也可以取得了最好的效果。 基本术语： 原文链接：https://blog.csdn.net/Huang_cainiao/article/details/94597600 ...
指代消解《End-to-end Neural Coreference Resolution》论文笔记
weixin_44063212的博客
05-15 633
此前的研究 语法解析的错误会传递到模型中(parsing mistakes can introduce cascading errors) 手动特征工程的构建不具有泛化性(many of the hand-engineered rules do not generalize to new languages) 基本术语 参考链接1：https://blog.csdn.net/Answer3664/article/details/102942352 参考链接2：https://blog.csdn.net/
(2020)End-to-end Neural Coreference Resolution论文笔记
Troublemaker丶的博客
05-22 2055
paper: End-to-end Neural Coreference Resolution code: https://github.com/kentonl/e2e-coref 文章目录： 文章词语解释 Abstract Introduction Task Model 整体算法流程 Experiments 文章词语解释 参考本文 Abstract 想法：通过考虑文档中所有的span【文本中的子串/短语】以及学习每个span的可能的指代。 方法：通过计算span本身embedding表示和s.
指代消解论文阅读(一): END-TO-END NEURAL COREFERENCE RESOLUTION REVISITED: A SIMPLE YETEFFECTIVE BASELINE
天狼啸月1990的博客
07-20 176
《Precision Event Coreference Resolution Using Neural Network Classifiers》阅读笔记
qlzy的博客
09-18 207
这篇文章研究的问题是篇章内和跨篇章的事件共指消解任务。如下图所示，本文使用的模型由简单的两层前馈神经网络+softmax层组成。其输入特征由三部分组成： （1）event mention 1的特征向量：embeddings of the event word，the POS tag of the event word，embedding of words in a pre-defined window around the event word.（word2vec） （2）event mention 2的特
End-to-End Task-Completion Neural Dialogue Systems
09-10
This pa- per presents a novel end-to-end learning framework for task-completion dialogue systems to tackle such issues. Our neu- ral dialogue system can directly interact with a structured database ...
【10】Towards End-to-End Speech Recognitionwith Recurrent Neural Networks.pdf
08-26
of the deep bidirectional LSTM recurrent neural network architecture and the Connectionist Temporal Classification objective function. A modification to the objective function is introduced that ...
End-to-end Interpretable Neural Motion Planner.pdf
05-20
End-to-end Interpretable Neural Motion Planner
ATOMNAS FINE-GRAINED END-TO-END NEURAL ARCHITECTURE SEARCH
06-02
计算机视觉Github开源论文
End-to-end Interpretable Neural Motion Planner.zip
10-02
"End-to-end Interpretable Neural Motion Planner"（端到端可解释神经运动规划）是一种先进的方法，旨在将深度学习的优势与传统的运动规划理论相结合，实现更智能、更灵活的机器人行为。 传统的运动规划通常基于...
Coreference Resolution技术细节
Rainbow
11-12 269
步骤 找到所有的mention 判断mention之间是否有共指关系 数据集格式 conll End-to-end Neural Coreference Resolution (Lee et al., EMNLP 2017) https://blog.csdn.net/Huang_cainiao/article/details/94597600 有一个mention 为 mi​，然后它之前在文本中的所有mention 为 { m1, m2 , m3 … mj​} 注意( j < i), 通
Coreference resolution (共指解析)
github_36088377的博客
09-10 1万+
前言本科时候主要搞的是利用深度学习来做文本分类和情感分析，phd期间的老板貌似对deep learning和一些相关的应用不是太感兴趣，于是。。 我就跳进了coreference resolution这个坑 （此处省略1万字）定义相信很多人都没有听说过这个概念，所以先在这里简单的介绍一下基本的定义： Coreference resolution (共指解析)是自然语言处理(nlp)中的一个基本任
EMNLP 2017 accepted papers
AI小白入门的博客
12-05 1万+
emnlp 接受论文列表地址:http://emnlp2017.net/accepted-papers.htmlEMNLP 2017共接收323篇论文。 其中216篇是长篇论文，107篇是短篇论文。详细如下： Accepted short papersGlobal Normalization of Convolutional Neural Networks for Joint Entity and
指代消解笔记
Tian的博客
10-25 1万+
基础原理: 共指消解技术主要用于解决多个指称对应同一实体对象的问题。在一次会话中，多个指称可能指向的是同一实体对象。利用共指消解技术，可以将这些指称项关联（合并）到正确的实体对象，由于该问题在信息检索和自然语言处理等领域具有特殊的重要性，吸引了大量的研究努力。共指消解还有一些其他的名字，比如对象对齐、实体匹配和实体同义。 共指消解问题的早期研究成果主要来自自然语言处理领域，近年来统计机器学习领域的...
Embedding理解与代码实现
热门推荐
海晨威
12-19 2万+
Embedding 字面理解是 “嵌入”，实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。 下面以一个基于Keras的简单的文本情感分类问题为例解释Embedding的训练过程： 首先，导入Keras的相关库 from keras.layers import Dense, Flatten, Input f...
AllenNLP系列文章之四：指代消解
大数据挖掘SparkExpert的博客
04-09 1万+
      指代消解是自然语言处理的一大任务之一，它是信息抽取不可或缺的组成部分。在信息抽取中，由于用户关心的事件和实体间语义关系往往散布于文本的不同位置，其中涉及到的实体通常可以有多种不同的表达方式，例如某个语义关系中的实体可能是以代词形式出现的，为了更准确且没有遗漏地从文本中抽取相关信息，必须要对文章中的指代现象进行消解。指代消解不但在信息抽取中起着重要的作用，而且在机器翻译、文本摘要和问答系...
Weakly Supervised Contrastive Learning 论文阅读
最新发布
weixin_44609958的博客
07-25 1257
无监督视觉表示学习因对比学习的最新成就而受到计算机视觉领域的广泛关注。现有的大多数对比学习框架采用实例区分作为预设任务，将每个实例视为一个不同的类。然而，这种方法不可避免地会导致类别冲突问题，从而损害所学习表示的质量。
【时间动作定位】End-to-end Temporal Action Detection with Transformer 论文阅读
weixin_44609958的博客
07-24 859
时序动作检测（TAD）旨在确定未剪辑视频中每个动作实例的语义标签和时间区间。这是视频理解中一个基础且具有挑战性的任务。以前的方法使用复杂的流程来解决这个任务。它们通常需要训练多个网络，并涉及手工设计的操作，如非极大值抑制和锚生成，这限制了灵活性并阻碍了端到端学习。在本文中，我们提出了一种基于Transformer的端到端TAD方法，称为TadTR。给定一小组可学习的嵌入（称为动作查询），TadTR为每个查询自适应地从视频中提取时间上下文信息，并直接使用上下文预测动作实例。
spreadgnn: serverless multi-task federated learning for graph neural network
04-30
Graph Neural Network是一类可以处理图形和网络数据的神经网络，目前在社交网络、化学和蛋白质结构等领域有广泛应用。 spreadgnn使用无服务器架构设计来实现多任务联邦学习。本方法采用一种名为Federated Averaging...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值