期待成功-CSDN博客

原创论文笔记丨Entity-Relation Extraction as Multi-turn Question Answering

Entity-Relation Extraction as Multi-turn Question AnsweringAbstractIntroductionmodelExperimental ResultsAbstract先前实体关系抽取都是基于如下数据格式[“cowden”, “'s”, “syndrome”, “is”, “an”, “autosomal”, “dominant”, “multiorgan”, “hamartoma”, “syndrome”, “characterized”,.

2021-07-21 10:02:09 509

原创论文笔记：OntoED: Low-resource Event Detection with Ontology Embedding

作者：崔金满单位：燕山大学论文地址：https://arxiv.org/pdf/2105.10922.pdf代码地址：https://github.com/231sm/Reasoning_In_EE论文来源：ACL 2021Abstract事件检测（Event Detection, ED）旨在从给定文本中识别事件触发词，并将其分类为预定义的事件类型。现有的ED方法大多严重依赖训练实例，几乎忽略了事件类型的相关性。因此，这些方法往往会遭到数据稀缺的困扰，无法处理新的未知事件类型..

2021-07-19 10:32:17 1156

原创论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation

任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时，使用了不同的预测任务和训练目标，如下表所示。ELMo：学习两个单向LM，正向LM从左到右读取文本，反向LM从右到左编码文本。GPT：使用从左到右的Transformer逐字预测文本序列。BERT：采用双向Transformer编码器，结合左右上下文来预测掩码。BERT显著提高了许多NLP任务的性能，但由于其双向性，注重于对文档的理解，却难以应用于自然语言生成任务。针对上表三种.

2021-07-17 15:09:05 700

原创论文解读 | ERICA: Improving Entity and Relation Understanding for PLM via Contrastive Learning

单位：燕山大学作者：王琴摘要预训练语言模型 (PLM) 能在各种下游自然语言处理 (NLP) 任务中表现出卓越的性能。然而，传统的预训练目标并没有明确地对文本中的关系进行建模，但这对于文本理解却至关重要。为了解决这个问题，作者提出了一种新颖的对比学习框架 ERICA，以深入了解文本中的实体及其关系。作者定义了两个新的预训练任务来更好地理解实体和关系：（1）实体判别任务，用于区分给定的头部实体和关系可以推断出哪个尾实体； (2)关系判别任务，在语义上区分两个关系是否接近，这涉及复

2021-07-16 00:07:46 837 3

原创论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach

作者：刘锁阵单位：燕山大学

2021-07-15 22:33:51 398 1

原创论文笔记|Breaking the Closed World Assumption in Text Classification

这是2016年的一篇论文，提出open classification（开放分类）的概念，并应用到自然语言处理领域。

2021-07-14 20:26:24 298

原创论文笔记：Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding

作者：陈宇飞单位：燕山大学paper ACL2020code目录一、Abstract二、Introduction三、Methodology3.1 Constructing Paired Token-tag Sequences from Documents and Gold Role Fillers3.2 k-sentence Reader3.3 Multi-Granularity Reader四、Result五、Conclusion一、Abstract 首先本文研究了端到端的预训练模.

2021-07-13 20:28:19 597

原创论文笔记|Denoising Relation Extraction from Document-level Distant Supervision

作者：李瑾单位：燕山大学论文地址目录一、概述二、方法1. 整体框架2.Document Encoder2. Mention-Entity Matching① 文档内实体提及一、概述句子级关系抽取关注的是同一句子内部的实体之间的关系，但实际生活中很多关系存在于多个句子间。远程监督假设一个实体只对应一种关系，但实际上一个实体对应多种关系，且同一个句子中包含相同的实体对并不一定表示具有相同的关系。因此，使用远程监督进行关系抽取将会带来噪声。为了降低文档级远程监督的噪声并提高有用信

2021-07-12 21:57:40 416 1

转载 2021-07-09

转自：NLP工作站知乎刘聪NLP主要包括10个分类，如下：（1）预训练语言模型及应用（58篇）；（2）表征学习（9篇）；（3）问答及检索（42篇）；（4）文本生成（29篇）；（5）摘要（23篇）；（6）小样本（16篇）；（7）对话（32篇）；（8）情感及情绪分析（15篇）；（9）信息抽取（60篇）；（10）其他（21篇）。update：刘聪NLP：ACL2021 Findings论文汇总及分类一、预训练语言模型及应用Long（1）How Good is Your Tokenizer? O

2021-07-09 10:17:41 2187

原创论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

作者：迪单位：燕山大学论文地址代码地址论文来源：EMNLP2019前言虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..

2021-07-08 17:35:40 835

原创论文笔记 | Cross-Lingual Abstractive Summarization with Limited Parallel Resources

作者：景单位：燕山大学论文来源：ACL2021代码地址引言1.关于跨语言摘要跨语言摘要(Cross-Lingual Summarization,CLS)是在给定A语言的文本序列DAD^ADA后，得到该文本关于B语言的摘要序列SBS^BSB的任务。该任务旨在最大化利用稀缺的语言资源来进行摘要生成，并提供双语言摘要对照以方便用户进行阅读和学习。2.任务定义给定一段A语言序列DA=[xA1,...,xAm]D^A=[{x^A}_1,...,{x^A}_m]DA=[xA1,...,x..

2021-07-07 19:02:39 691 2

原创论文笔记丨Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

作者：凯燕山大学原文链接:http://proceedings.mlr.press/v119/qu20a/qu20a.pdfFew-shot Relation Extraction via Bayesian Meta-learning on Relation GraphsAbstractIntroductionExperimentAbstract关系抽取目的是通过在每个关系中抽取几个标注的实例来进行训练，从而预测一个句子中一对实体的关系。我们提出了一种基于贝叶斯的元学习方法有效的学习了类原型的后验

2021-07-06 20:27:25 1002 1

原创论文笔记：Jointly Multiple Events Extraction via Attention-based GraphInformation Aggregation

作者：崔金满单位：燕山大学Abstract在现实世界中，经常存在一个句子中包含多个事件的现象，提取多个事件比提取单个事件要困难，本文提出一种联合多事件提取框架，通过引入syntactic shortcut arcs来增强信息流，并通过基于注意力的图卷积网络来对图信息进行建模，从而联合抽取多个事件触发器和元素。Introduction在事件抽取中，一个句子中可能同时出现多个事件，由于这些不同类型的事件之间通常是相互关联的，导致提取困难。比如，“He left the company, an

2021-07-05 09:00:25 618

原创论文笔记|Get To The Point: Summarization with Pointer-Generator Networks

该论文是ACL2017的一篇影响力较大的论文：论文地址文章目录概述模型基线模型指针生成网络实验分析概述抽取式文本摘要实现简单，所有内容都是从原文中抽取，但想要高质量的，足够抽象的摘要，则需要进行生成式文本摘要。神经序列到序列模型是生成式文本摘要的一种可行的方法。然而，这些模型有两个缺点:重现事实细节不准确，重复生成。在本文工作中，作者提出了一个新的架构，以两种正交的方式增强标准的seq2seq的注意力模型。首先，作者使用一个混合的pointer-generator网络。一边能从源文本复制单词，有

2021-07-03 12:45:35 332 1

原创论文解读 | QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION

单位：燕山大学作者：王琴摘要当前使用端到端方法的机器阅读和问答 (Q&A) 模型主要是基于具有注意力的循环神经网络（RNN）。这种方法的确取得了很大的成功，但由于 RNN 的顺序性，这些模型在训练和推理方面通常都很慢。因此作者提出了一种新的问答架构，称为 QANet，它不需要循环网络，编码器完全由卷积和自注意力构成。其中，卷积对局部关系进行建模，使用自注意力对全局关系进行建模。在 SQuAD 数据集上，此模型的训练速度是RNN的 3倍到13 倍，其推理速度提高 4 到

2021-07-02 00:24:34 446 1

原创论文笔记 | DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically Labe

作者：论文地址：

2021-07-01 22:51:52 571

原创论文笔记|Open-world Learning and Application to Product Classification

单位：燕山大学作者：徐甘霖在开放领域文本分类的基础上,提出开放世界学习的概念，即一个系统在能识别已知类、拒绝未知类的基础上，能够通过不断的学习未知类。当学习的未知类的数量足够多时，能够将这个未知类增加到系统的已知类集合中。为此，作者提出一个L2AC模型，如下图所示。模型的核心组件有Ranker和Mete-Classifier组成，Ranker的作用的是在每个已知类中抽取与一个测试样例的最近邻的k个已知类样例，然后将这些已知类的k个样例存入Meta-Classifier的Memory中。Meta-Cl

2021-06-30 20:17:10 756 1

原创论文笔记：Exploring Pre-trained Language Models for Event Extraction and Generation

作者：陈宇飞单位：燕山大学论文地址：https://www.aclweb.org/anthology/P19-1522/目录一、摘要二、引言三、相关工作四、模型4.1 触发词抽取模型4.2 元素抽取模型4.3 元素跨度的确定五、训练数据的生成5.1 预处理5.2 事件生成5.3 评分六、实验结果一、摘要传统的事件抽取（EE）任务目前有两个主要问题，一是事件抽取本身的困难，还有就是不足的训练数据阻碍了学习过程。所以，本文的主要工作分为两部分，首先是提出了一个事件提取模型PLMEE，来解决角.

2021-06-29 10:10:50 862

原创【论文笔记】

More Data, More Relations, More Context and More Openness:A Review and Outlook for Relation Extraction作者：李瑾单位：燕山大学论文地址目录一、概述二、关系抽取的发展二、存在的问题及发展方向三、面临的挑战一、概述关系抽取定义：关系抽取是信息抽取的任务之一，其任务是从文本内容中找到概念之间的语义关系，和知识图谱有密切的关系。本文详细介绍了关系抽取的发展，总结了现有关系抽取存在的问题

2021-06-28 18:38:34 125

原创论文笔记 _ ELECTRA_ Pre-training Text Encoders as Discriminators Rather than Generators

作者：韩单位：燕山大学论文地址：https://openreview.net/pdf?id=r1xMH1BtvB目录一、前言二、概述三、方法四、实验一、前言 BERT类的掩码语言建模(MLM)方法在下游 NLP 任务上产生了出色的结果，但它们需要大量的计算才能有效。这些方法通过用 [MASK] 替换一些令牌来破坏输入，然后训练模型以重建原始令牌。作为替代方案，本文提出了一种更加 sample-efficient 的预训练任务，称为 replaced token detection ...

2021-06-26 17:56:36 266

原创论文笔记|Self-Supervised Test-Time Learning for Reading Comprehension

作者：孙嘉伟单位：燕山大学文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结0.研究背景1.常见的QA模型在回答问题时依赖于所使用的训练数据集，而在所提供的数据集当中有些信息可能会随着时间的推移发生改变，这就会导致模型输出错误的结果。2.与此同时，有监督的QA模型在对抗性样本(adversarial example)、域外样本(domain shift、out of domain)和含有偏见(b...

2021-06-25 13:38:58 314

原创论文笔记 | Does Structure Matter? Encoding Documents for Machine Reading Comprehension

作者：迪单位：燕山大学论文地址论文来源：ACL2021前言机器阅读理解是一项具有挑战性的任务，尤其是对于查询具有深层次和上下文相关性非常强的的文档。基于Transformer的方法在这项任务中表现优异；然而，它们中的大多数方法仍然将文档视为一个扁平的序列。这项工作提出了一种新的基于Transformer的方法，按照树切片的方式读取文档。它包含两个模块，分别是识别更相关的文本段落和提取最佳的答案跨度，这两个模块不仅是联合训练的，而且在推理时也是联合使用的。评估结果表明，所提出的方法在来自不..

2021-06-24 15:23:36 150

原创论文笔记|GSum: A General Framework for Guided Neural Abstractive Summarization

作者：景单位：燕山大学论文来源:NAACL2021代码地址前言生成式摘要神经网络模型很灵活，可以产生连贯的摘要，但它们有时不可靠并且难以控制。虽然以前的研究试图提供不同类型的指导来控制模型输出和增加可信度，但尚不清楚这些策略如何相互比较和对比。在本文中，作者提出了一个通用且可扩展的引导式摘要框架GSum，它可以有效地将不同种类的外部引导作为输入，并在几个不同的品种上进行实验。实验表明，该模型是有效的，在使用突出显示的句子作为指导时，根据 ROUGE 在 4 个流行的摘要数据集上实现了..

2021-06-23 17:08:56 1022 1

原创论文笔记丨Inductive Unsupervised Domain Adaptation for Few-Shot Classification via Clustering

作者：凯单位：燕山大学Inductive Unsupervised Domain Adaptation for Few-Shot Classification via ClusteringAbstractIntroductionMethodologyDaFeC FrameworkClustering Promotion MechanismOverall WorkflowExperimentsAbstract小样本学习致力于不同域之间的学习，由于域和域之间交叉的标签有限，使得传统..

2021-06-22 15:38:41 416

原创论文笔记：Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker

论文地址：https://arxiv.org/pdf/2105.14924.pdf代码地址：https://github.com/RunxinXu/GIT (Will be released soon)数据集：Chinese financial documents

2021-06-21 10:09:44 2119

原创论文笔记 | Text Summarization with Pretrained Encoders

该论文来自EMNLP2019，论文地址文章目录概述IntroductionBERT抽取式摘要生成式摘要评价指标BERT 编码器抽取式模型生成式模型实验及分析总结概述本文提出了基于BERT的文档级编码器，该编码器能够表达文档的语义，并获得文档的句子表示。并分别提出了抽取式和生成式的摘要模型。抽取式模型：在该编码器的基础上，叠加几个句子间的transformer层生成式模型：本文提出了一种新的微调schedule，采用不同的optimizer应用于encoder和decoder，以减少两者间的

2021-06-19 12:02:14 1611

原创论文笔记 | Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC

摘要机器阅读理解 (MRC) 是 NLP 中⼀项⾄关重要且具有挑战性的任务。最近，预训练的语⾔模型（LM），尤其是 BERT取得了显著的成功。本文中，作者研究了利用外部知识库(knowledge base,KB) 结合BERT 的潜力，并由此提出了 KT-NET。它采用注意力机制从知识库中自适应地选择所需的知识，然后将所选知识与 BERT 融合，以实现上下文感知和知识感知预测。这种方法结合了深度 LM 和KB 的优点，以更好地实现MRC任务。实验结果表明，KT-NET 与BER...

2021-06-18 21:42:55 600

原创论文笔记 | Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarch

论文地址：https://www.aclweb.org/anthology/2020.acl-main.20.pdf

2021-06-17 20:23:53 457

原创论文笔记|Open Set Text Classification using Convolutional Neural Networks

作者：徐甘霖单位：燕山大学这篇文章中，作者基于CNN提出了开放领域文本分类的一套算法，比之前的开放分类算法有了一定的提升。首先作者提出了传统的softmax操作并不能完成开放分类任务，然后总结了之前的开放分类算法（CBS、NCC等），通过如下的CNN结果抽取句子特征。在文章中，CNN的最后一层输出的Activation Vector（AV）来表示句子特征。在训练时，抽取所有已知类中的所有句子，得到Activation Vector。在测试时，计算每个测试样例Activation Vector到每个已

2021-06-15 20:10:05 418

原创论文笔记： Hierarchical Chinese Legal event extraction via Pedal Attention Mechanism

作者：陈宇飞单位：燕山大学论文地址：https://www.aclweb.org/anthology/2020.coling-main.9/目录一、摘要二、引言三、设计四、实验结果一、摘要本文主要是使用NLP领域的事件抽取方法来解决中国法律领域中的相关问题。其中为了区分相似案件，为事件检测设计了分层的事件特征。此外，为了解决论元分类中的长距离语义依赖和共指消解问题，提出了一种新的pedal注意力机制，该踏板注意力机制的主要工作是通过依存的相邻词来提取两个词之间的语义关系。因为目前中国法律.

2021-06-15 18:17:25 514 1

原创论文笔记| The Emergence, Advancement and Future of Textual Answer Triggering

作者：李瑾单位：燕山大学论文地址目录一、 Dataset二、 Robust Methods and Strategies三、 Major Challenges with Plausible Solutions 这篇论文发表于2020年，详细且全面介绍了答案触发这一任务当前的发展以及面临的挑战。一、 Dataset 第一个公开的答案触发数据集WiKiQA 于2015年与答案触发这一任务同时提出，紧接着2016年提出了另一个数据集SELQA。两个数据集不同点构建方式与数据比例不同：W

2021-06-14 16:42:22 197

原创 2021-06-12

作者：韩单位：燕山大学论文地址：https://arxiv.org/pdf/1906.08237.pdf代码：https://github.com/zihangdai/xlne目录一、前言二、概述三、Auto Regressive & Auto Encoder四、模型：排列语言模型（Permutation Language Modeling）五、架构：目标感知表示的双向自注意六、实验结果一、前言 2018 年，谷歌发布了基于双向 Transformer 的大规模预训练语言模...

2021-06-12 17:21:47 177

原创论文笔记 | Adversarial Examples for Evaluating Reading Comprehension Systems

作者：孙嘉伟单位：燕山大学文章目录前言一、解决的问题二、对抗数据生成方法前言这是一篇比较经典的论文，发表在EMNLP2017上面，可以说是文本对抗领域的开山之作，作者是Percy Liang 和Robin Jia。论文地址：https://arxiv.org/pdf/1707.07328.pdf代码地址：https://github.com/robinjia/adversarial-squad一、解决的问题文章所研究的问题是：阅读理解模型容易受到对抗样本的攻击。使用的数据集是经典的S

2021-06-11 17:11:32 765

原创【论文笔记】 | Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering

作者：迪单位：燕山大学论文地址代码地址论文来源：ICLR2020前言开放领域问答指的是从庞大的数据中找到问题的答案。过去的方法大都是先从这海量的数据中抽取出相关的少量文档，然后将之当做一个给定文本的问答类型。尽管这种方法对单跳问答（sigle-hop QA）效果很好，但是在多跳问答（multi-hop QA）中却往往不那么奏效。单跳问答，就是问题的答案就在单个文档中，而多跳问答需要结合很多篇文档的“知识推理”才能得到最终的答案。如下图所示：概述回答多跳推理的问题，需要检索多..

2021-06-10 16:43:04 314

原创论文笔记| BART：Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation

作者：景单位：燕山大学论文来源代码地址前言先说说通常意义上的预训练模型，以BERT为例，它采用大规模预料对Transformer编码器进行预训练，保存编码器参数后接下游任务，针对不同的下游任务采取不同的微调措施，例如接分类器、接解码器等。这么做的好处在于“对症下药”，但实则可以看做是妥协的产物——因为在谷歌刚提出BERT的时候，并没有针对“只编不解”这个问题的良好对策，bert在编码器堆叠了12层，这12层模型的参数经过了大规模语料的千锤百炼，对文本特征的捕获能力是极强的，但是其下游任务..

2021-06-09 17:23:58 2502 1

原创论文笔记丨Open Hierarchical Relation Extraction

Open Hierarchical Relation ExtractionAbstractIntroductionContributionOHRE FrameworkRelation Representation LearningRelation Hierarchy ExpansionExperimentsAbstract开放关系提取（OpenRE）旨在从开放域语料库中提取新的关系类型，在完成知识库（KBs）的关系方案（relation schemes）方面发挥着重要作用。大多数OpenRE方法在不考.

2021-06-08 15:36:06 489

原创论文笔记：Constructing Narrative Event Evolutionary Graph for Script Event Prediction

Abstract脚本事件预测需要模型预测给定现有事件上下文的后续事件，现有的方法大都是基于事件链或事件对的模型，不能充分利用事件间的紧密联系，从而限制预测能力，针对这一问题，本文构建一个事件图来更好地利用事件的网络信息进行脚本事件预测。首先从大量新事件中提取叙事事件链，并基于提取的事件链来构建事件演化图（NEEG）。其中，NEEG可以看做是一个描述事件演化原理和模式的知识库。为在NEEG上解决推理问题，本文提出一种比例图神经网络（SGNN）来模拟事件交互，更好地学习事件表示。SGNN每次只处理已知事件相

2021-06-07 15:42:46 652

vb传送文件

空空如也