笔记
文章平均质量分 89
期待成功
我们是燕山大学自然语言处理和知识图谱研究团队,我们的研究兴趣包括信息抽取、知识图谱构建、机器阅读理解和文本摘要生成。
展开
-
论文笔记:OntoED: Low-resource Event Detection with Ontology Embedding
作者:崔金满单位:燕山大学论文地址:https://arxiv.org/pdf/2105.10922.pdf代码地址:https://github.com/231sm/Reasoning_In_EE论文来源:ACL 2021Abstract事件检测(Event Detection, ED)旨在从给定文本中识别事件触发词,并将其分类为预定义的事件类型。现有的ED方法大多严重依赖训练实例,几乎忽略了事件类型的相关性。因此,这些方法往往会遭到数据稀缺的困扰,无法处理新的未知事件类型..原创 2021-07-19 10:32:17 · 1124 阅读 · 0 评论 -
论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation
任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时,使用了不同的预测任务和训练目标,如下表所示。ELMo:学习两个单向LM,正向LM从左到右读取文本,反向LM从右到左编码文本。GPT:使用从左到右的Transformer逐字预测文本序列。BERT:采用双向Transformer编码器,结合左右上下文来预测掩码。BERT显著提高了许多NLP任务的性能,但由于其双向性,注重于对文档的理解,却难以应用于自然语言生成任务。针对上表三种.原创 2021-07-17 15:09:05 · 672 阅读 · 0 评论 -
论文解读 | ERICA: Improving Entity and Relation Understanding for PLM via Contrastive Learning
单 位:燕山大学作 者: 王 琴摘要 预训练语言模型 (PLM) 能在各种下游自然语言处理 (NLP) 任务中表现出卓越的性能。然而,传统的预训练目标并没有明确地对文本中的关系进行建模,但这对于文本理解却至关重要。为了解决这个问题,作者提出了一种新颖的对比学习框架 ERICA,以深入了解文本中的实体及其关系。作者定义了两个新的预训练任务来更好地理解实体和关系:(1)实体判别任务,用于区分给定的头部实体和关系可以推断出哪个尾实体; (2)关系判别任务,在语义上区分两个关系是否接近,这涉及复原创 2021-07-16 00:07:46 · 821 阅读 · 3 评论 -
论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach
作者:刘锁阵单位:燕山大学原创 2021-07-15 22:33:51 · 356 阅读 · 1 评论 -
论文笔记:Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding
作者:陈宇飞单位:燕山大学paper ACL2020code目录一、Abstract二、Introduction三、Methodology3.1 Constructing Paired Token-tag Sequences from Documents and Gold Role Fillers3.2 k-sentence Reader3.3 Multi-Granularity Reader四、Result五、Conclusion一、Abstract 首先本文研究了端到端的预训练模.原创 2021-07-13 20:28:19 · 574 阅读 · 0 评论 -
论文笔记:Jointly Multiple Events Extraction via Attention-based GraphInformation Aggregation
作 者:崔金满单 位:燕山大学Abstract在现实世界中,经常存在一个句子中包含多个事件的现象,提取多个事件比提取单个事件要困难,本文提出一种联合多事件提取框架,通过引入syntactic shortcut arcs来增强信息流,并通过基于注意力的图卷积网络来对图信息进行建模,从而联合抽取多个事件触发器和元素。Introduction在事件抽取中,一个句子中可能同时出现多个事件,由于这些不同类型的事件之间通常是相互关联的,导致提取困难。比如,“He left the company, an原创 2021-07-05 09:00:25 · 600 阅读 · 0 评论 -
论文笔记|Get To The Point: Summarization with Pointer-Generator Networks
该论文是ACL2017的一篇影响力较大的论文:论文地址文章目录概述模型基线模型指针生成网络实验分析概述抽取式文本摘要实现简单,所有内容都是从原文中抽取,但想要高质量的,足够抽象的摘要,则需要进行生成式文本摘要。神经序列到序列模型是生成式文本摘要的一种可行的方法。然而,这些模型有两个缺点:重现事实细节不准确,重复生成。在本文工作中,作者提出了一个新的架构,以两种正交的方式增强标准的seq2seq的注意力模型。首先,作者使用一个混合的pointer-generator网络。一边能从源文本复制单词,有原创 2021-07-03 12:45:35 · 312 阅读 · 1 评论 -
论文解读 | QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION
单位 : 燕山大学作者 : 王 琴摘 要 当前使用端到端方法的机器阅读和问答 (Q&A) 模型主要是基于具有注意力的循环神经网络(RNN)。这种方法的确取得了很大的成功,但由于 RNN 的顺序性,这些模型在训练和推理方面通常都很慢。因此作者提出了一种新的问答架构,称为 QANet,它不需要循环网络,编码器完全由卷积和自注意力构成。其中,卷积对局部关系进行建模,使用自注意力对全局关系进行建模。在 SQuAD 数据集上,此模型的训练速度是RNN的 3倍到13 倍,其推理速度提高 4 到原创 2021-07-02 00:24:34 · 414 阅读 · 1 评论 -
论文笔记 | DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically Labe
作者:论文地址:原创 2021-07-01 22:51:52 · 540 阅读 · 0 评论 -
论文笔记|Open-world Learning and Application to Product Classification
单位:燕山大学作者:徐甘霖在开放领域文本分类的基础上,提出开放世界学习的概念,即一个系统在能识别已知类、拒绝未知类的基础上,能够通过不断的学习未知类。当学习的未知类的数量足够多时,能够将这个未知类增加到系统的已知类集合中。为此,作者提出一个L2AC模型,如下图所示。模型的核心组件有Ranker和Mete-Classifier组成,Ranker的作用的是在每个已知类中抽取与一个测试样例的最近邻的k个已知类样例,然后将这些已知类的k个样例存入Meta-Classifier的Memory中。Meta-Cl原创 2021-06-30 20:17:10 · 726 阅读 · 1 评论 -
【论文笔记】
More Data, More Relations, More Context and More Openness:A Review and Outlook for Relation Extraction作者:李瑾单位:燕山大学论文地址目录一、概述二、关系抽取的发展二、存在的问题及发展方向三、面临的挑战一、概述 关系抽取定义: 关系抽取是信息抽取的任务之一,其任务是从文本内容中找到概念之间的语义关系,和知识图谱有密切的关系。 本文详细介绍了关系抽取的发展,总结了现有关系抽取存在的问题原创 2021-06-28 18:38:34 · 110 阅读 · 0 评论 -
论文笔记 _ ELECTRA_ Pre-training Text Encoders as Discriminators Rather than Generators
作者:韩单位:燕山大学论文地址:https://openreview.net/pdf?id=r1xMH1BtvB目录一、前言二、概述三、方法四、实验一、前言 BERT类的掩码语言建模(MLM)方法在下游 NLP 任务上产生了出色的结果,但它们需要大量的计算才能有效。这些方法通过用 [MASK] 替换一些令牌来破坏输入,然后训练模型以重建原始令牌。作为替代方案,本文提出了一种更加 sample-efficient 的预训练任务,称为 replaced token detection ...原创 2021-06-26 17:56:36 · 247 阅读 · 0 评论 -
论文笔记|GSum: A General Framework for Guided Neural Abstractive Summarization
作者:景单位:燕山大学论文来源:NAACL2021代码地址前言 生成式摘要神经网络模型很灵活,可以产生连贯的摘要,但它们有时不可靠并且难以控制。虽然以前的研究试图提供不同类型的指导来控制模型输出和增加可信度,但尚不清楚这些策略如何相互比较和对比。 在本文中,作者提出了一个通用且可扩展的引导式摘要框架GSum,它可以有效地将不同种类的外部引导作为输入,并在几个不同的品种上进行实验。 实验表明,该模型是有效的,在使用突出显示的句子作为指导时,根据 ROUGE 在 4 个流行的摘要数据集上实现了..原创 2021-06-23 17:08:56 · 1002 阅读 · 1 评论 -
论文笔记:Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker
论文地址:https://arxiv.org/pdf/2105.14924.pdf代码地址:https://github.com/RunxinXu/GIT (Will be released soon)数据集:Chinese financial documents原创 2021-06-21 10:09:44 · 2095 阅读 · 0 评论 -
论文笔记 | Text Summarization with Pretrained Encoders
该论文来自EMNLP2019,论文地址文章目录概述IntroductionBERT抽取式摘要生成式摘要评价指标BERT 编码器抽取式模型生成式模型实验及分析总结概述本文提出了基于BERT的文档级编码器,该编码器能够表达文档的语义,并获得文档的句子表示。并分别提出了抽取式和生成式的摘要模型。抽取式模型:在该编码器的基础上,叠加几个句子间的transformer层生成式模型:本文提出了一种新的微调schedule,采用不同的optimizer应用于encoder和decoder,以减少两者间的原创 2021-06-19 12:02:14 · 1599 阅读 · 0 评论 -
论文笔记 | Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC
摘要 机器阅读理解 (MRC) 是 NLP 中⼀项⾄关重要且具有挑战性的任务。 最近,预训练的语⾔模型(LM),尤其是 BERT取得了显著的成功。本文中,作者研究了利用外部知识库(knowledge base,KB) 结合BERT 的潜力,并由此提出了 KT-NET。它采用注意力机制从知识库中自适应地选择所需的知识,然后将所选知识与 BERT 融合,以实现上下文感知和知识感知预测。这种方法结合了深度 LM 和KB 的优点,以更好地实现MRC任务。 实验结果表明,KT-NET 与BER...原创 2021-06-18 21:42:55 · 577 阅读 · 0 评论 -
论文笔记 | Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarch
论文地址:https://www.aclweb.org/anthology/2020.acl-main.20.pdf原创 2021-06-17 20:23:53 · 437 阅读 · 0 评论 -
论文笔记|Open Set Text Classification using Convolutional Neural Networks
作者:徐甘霖单位:燕山大学这篇文章中,作者基于CNN提出了开放领域文本分类的一套算法,比之前的开放分类算法有了一定的提升。首先作者提出了传统的softmax操作并不能完成开放分类任务,然后总结了之前的开放分类算法(CBS、NCC等),通过如下的CNN结果抽取句子特征。在文章中,CNN的最后一层输出的Activation Vector(AV)来表示句子特征。在训练时,抽取所有已知类中的所有句子,得到Activation Vector。在测试时,计算每个测试样例Activation Vector到每个已原创 2021-06-15 20:10:05 · 400 阅读 · 0 评论 -
论文笔记: Hierarchical Chinese Legal event extraction via Pedal Attention Mechanism
作者:陈宇飞单位:燕山大学论文地址:https://www.aclweb.org/anthology/2020.coling-main.9/目录一、摘要二、引言三、设计四、实验结果一、摘要 本文主要是使用NLP领域的事件抽取方法来解决中国法律领域中的相关问题。其中为了区分相似案件,为事件检测设计了分层的事件特征。此外,为了解决论元分类中的长距离语义依赖和共指消解问题,提出了一种新的pedal注意力机制,该踏板注意力机制的主要工作是通过依存的相邻词来提取两个词之间的语义关系。因为目前中国法律.原创 2021-06-15 18:17:25 · 490 阅读 · 1 评论 -
论文笔记| The Emergence, Advancement and Future of Textual Answer Triggering
作者:李瑾单位:燕山大学论文地址目录一、 Dataset二、 Robust Methods and Strategies三、 Major Challenges with Plausible Solutions 这篇论文发表于2020年,详细且全面介绍了答案触发这一任务当前的发展以及面临的挑战。一、 Dataset 第一个公开的答案触发数据集WiKiQA 于2015年与答案触发这一任务同时提出,紧接着2016年提出了另一个数据集SELQA。两个数据集不同点构建方式与数据比例不同:W原创 2021-06-14 16:42:22 · 176 阅读 · 0 评论 -
2021-06-12
作者:韩单位:燕山大学论文地址:https://arxiv.org/pdf/1906.08237.pdf代码:https://github.com/zihangdai/xlne目录一、前言二、概述三、Auto Regressive & Auto Encoder四、模型:排列语言模型(Permutation Language Modeling)五、架构:目标感知表示的双向自注意六、实验结果一、前言 2018 年,谷歌发布了基于双向 Transformer 的大规模预训练语言模...原创 2021-06-12 17:21:47 · 163 阅读 · 0 评论 -
论文笔记| BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation
作者:景单位:燕山大学论文来源代码地址前言 先说说通常意义上的预训练模型,以BERT为例,它采用大规模预料对Transformer编码器进行预训练,保存编码器参数后接下游任务,针对不同的下游任务采取不同的微调措施,例如接分类器、接解码器等。这么做的好处在于“对症下药”,但实则可以看做是妥协的产物——因为在谷歌刚提出BERT的时候,并没有针对“只编不解”这个问题的良好对策,bert在编码器堆叠了12层,这12层模型的参数经过了大规模语料的千锤百炼,对文本特征的捕获能力是极强的,但是其下游任务..原创 2021-06-09 17:23:58 · 2467 阅读 · 1 评论 -
论文笔记:Constructing Narrative Event Evolutionary Graph for Script Event Prediction
Abstract脚本事件预测需要模型预测给定现有事件上下文的后续事件,现有的方法大都是基于事件链或事件对的模型,不能充分利用事件间的紧密联系,从而限制预测能力,针对这一问题,本文构建一个事件图来更好地利用事件的网络信息进行脚本事件预测。首先从大量新事件中提取叙事事件链,并基于提取的事件链来构建事件演化图(NEEG)。其中,NEEG可以看做是一个描述事件演化原理和模式的知识库。为在NEEG上解决推理问题,本文提出一种比例图神经网络(SGNN)来模拟事件交互,更好地学习事件表示。SGNN每次只处理已知事件相原创 2021-06-07 15:42:46 · 630 阅读 · 0 评论 -
论文笔记|Bidirectional LSTM-CRF Models for Sequence Tagging
前言这篇论文是关于NER的一片经典论文,由百度研究院2015年发表。论文来源前两篇论文笔记与其说是笔记,更多地却像是在做翻译,最近才开始系统接触NER,便选择了较经典的一篇,基础向。文章目录摘要正文LSTMCRFLSTM-CRFBiLSTM-CRF实验数据集特征结果总结摘要该论文提出了几种基于LSTM的序列标注模型:LSTM,BiLSTM,LSTM-CRF,BiLSTM-CRF。该工作首次将BiLSTM-CRF应用于NLP基准序列标注数据集。正文序列标注包括词性标注(POS)、词义组块(chu原创 2021-06-05 11:23:59 · 751 阅读 · 0 评论 -
论文笔记 | Attention-based LSTM for Aspect-level Sentiment Classification
作者:刘锁阵单位:燕山大学论文地址:https://www.aclweb.org/anthology/D16-1058.pdf发布时间:2016前言最近在初步学习如何将注意力机制应用到文本分类领域,所以读了几篇相关的论文,在此记录一下。文章目录前言背景介绍模型设计1. LSTM with Aspect Embedding(AE-LSTM)2. Attention-based LSTM (AT-LSTM)3. Attention-based LSTM with Aspect Embedding.原创 2021-06-03 11:53:16 · 1443 阅读 · 0 评论 -
论文笔记|Deep Open Intent Classification with Adaptive Decision Boundary
作者:徐甘霖单位:燕山大学原创 2021-06-01 21:30:25 · 982 阅读 · 1 评论 -
论文笔记
Entity, Relation, and Event Extraction with Contextualized Span Representations作者:陈宇飞单位:燕山大学论文地址:https://www.aclweb.org/anthology/D19-1585/论文代码: https://github.com/dwadden/dygiepp目录Entity, Relation, and Event Extraction with Contextualized Span Rep原创 2021-06-01 17:04:02 · 262 阅读 · 0 评论 -
【论文笔记】
作者:李瑾单位:燕山大学论文地址:https://www.aclweb.org/anthology/D19-1604.pdf目录一、概述二、数据集选择三、方法3.1 难样例(Hard Negative)选择3.2 Triplet Loss损失函数3.3 Quadruplet Loss损失函数四、实验和分析4.1 孪生神经网络的选择4.2 实验结果和分析一、概述 答案选择和答案触发是基于选择的问答的两个子任务。答案选择有一个前提条件-----假设对于所有的问题候选答案集中都至少有一个正确回答原创 2021-05-31 17:30:28 · 232 阅读 · 0 评论 -
论文笔记_Pay Attention to MLPs
作者:韩单位:燕山大学论文地址:https://arxiv.org/abs/2105.08050目录一、前言二、概述三、模型3.1 Spatial Gating Unit四、Masked Language Modeling with BERT4.1 Ablation: The Importance of Gating in gMLP for BERT’s Pretraining4.2 Case Study: The Behavior of gMLP as Model Size Increases.原创 2021-05-29 16:40:08 · 1351 阅读 · 0 评论 -
论文笔记 | Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:景单位:燕山大学论文来源:ACL2020代码地址关于多文档摘要与单文档摘要 单文档摘要,字面意思就是对单个文档做摘要生成,这里的单个文档,其实质指的是文本篇幅在一定范围内(一般定义为512字长),而不是数字意义上的一个文档。 多文档摘要是联合多个篇幅文档内容进行来生成摘要,与单文档摘要的区别就在于多文档摘要的篇幅过长,而单文档摘要内容相对较短。只简单将各文档的内容进行拼接来生成摘要内容是不可取的,一是因为主流的预训练模型能接受的文本长度在512字,二是如果直接对超长文本进行训练会..原创 2021-05-26 17:27:22 · 637 阅读 · 0 评论 -
论文笔记:Span-Based Event Coreference Resolution
作 者:崔金满单位:燕山大学论文地址:https://www.aaai.org/AAAI21Papers/AAAI-9086.LJ.pdf数据集:KBP 2016和KBP 2017来源:AAAI 2021问题定义:文档内事件共指解析任务是确定文档中提到的哪个事件指的是同一个真实世界的事件;比如论文中的例子:昨天,德里警方扇了示威者一把掌(),当她在医院外示威()时,几乎以此同时,在印度北部的另一场抗议()活动中,一名60多岁的妇女被警方殴打致死(),到目前为止,德里警方已..原创 2021-05-24 15:30:55 · 722 阅读 · 0 评论 -
论文笔记|Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning
作者:任单位:燕山大学文章目录论文简介问题的引出预备风险最小化无偏性一致性使用PU方法,基于字典的NER定义符号标记分配机制使用字典进行数据标记构建PU学习分类器词表示损失函数标签推理扩充词典实验比较方法数据集构建命名实体字典估计πpπ_pπp实验结果总结论文简介论文来源:ACL2019论文地址源码地址在该论文中,研究了仅使用无标记的数据和命名实体字典,来进行命名实体识别(NER)的方法。为此,该文将任务定义为一个正无标记(positive-unlabeled, PU)学习问题,并据此提原创 2021-05-22 09:23:23 · 1320 阅读 · 1 评论 -
论文笔记 | Simplify the Usage of Lexicon in Chinese NER
作者:刘锁阵单位:燕山大学论文地址:https://www.aclweb.org/anthology/2020.acl-main.528.pdf代码地址:https://github.com/v-mipeng/LexiconAugmentedNER文章目录背景介绍Softword特征Lattice-LSTM模型设计字符表示层合并词典信息ExSoftword特征SoftLexicon对匹配到的单词分类压缩词典与字符表示相结合序列模型层标签推断层实验结果总结背景介绍Lattice-LSTM 1在.原创 2021-05-20 12:04:26 · 1756 阅读 · 2 评论 -
论文笔记 _ Discourse-Aware Neural Extractive Text Summarization
作者:韩单位:燕山大学论文地址:https://www.aclweb.org/anthology/2020.acl-main.451/代码地址:https://github.com/jiacheng-xu/DiscoBERT目录一、文本摘要(Text Summarization )任务1.1 任务概述1.2 抽取式方法1.3 生成式方法1.3 ROUGE评分标准二、论文核心概述2.1 模型设计思路2.2 模型优势分析三、DiscoBERT3.1 RST Graph3.2 Coreference.原创 2021-05-15 13:40:43 · 914 阅读 · 2 评论 -
论文笔记|Undersensitivity in Neural Reading Comprehension
作者:孙嘉伟单位:燕山大学目录该篇论文是 EMNLP2020 的一篇finding,作者:Johannes Welbl、Pasquale Minervini、Max Bartolo、Pontus Stenetorp、Sebastian Riedel。主要讲解现有模型存在对语义变化敏感度不足的问题,并针对该问题提出了一些解决方法。论文链接:https://www.aclweb.org/anthology/2020.findings-emnlp.103/1.解决的问题阅读理解模型在域内问原创 2021-05-14 09:11:03 · 206 阅读 · 0 评论 -
论文笔记:Event Detection without Triggers
姓名:崔金满单位:燕山大学论文地址:https://www.aclweb.org/anthology/N19-1080.pdf代码地址:https://github.com/liushulinle/event_detection_without_triggers数据集:ACE 2005来源:NAACL 2019Abstract:事件检测的目标是检测事件的发生并对其进行分类。以前的工作是通过识别和分类事件触发器来解决这个问题,事件触发器被定义为最清晰地表达事件发生的单词或短语。原创 2021-05-10 09:28:29 · 347 阅读 · 0 评论 -
论文笔记 | Multi-Grained Named Entity Recognition
作者:任单位:燕山大学目录论文概述引言命名实体识别是什么?问题提出的框架检测器词处理器句处理器检测网络分类器词处理器实体处理器分类网络实验嵌套NER任务非重叠NER任务论文概述论文来源该论文来自于ACL,发表于2019年。提出了一种用于多粒度命名实体识别的神经网络框架MGNER,该框架允许句子中的多个实体(entities)或实体提及(entity mentions)不重叠或完全嵌套。MGNER框架具有高度模块化的特点,每个组件都可以采用多种神经网络实现。实验结果表明,无论是嵌套的NER任务原创 2021-05-08 05:53:39 · 1077 阅读 · 1 评论 -
论文解读 | 百度 ERNIE: Enhanced Representation through Knowledge Integration
作 者:王 琴单 位:燕山大学摘要本文受Bert mask策略的启发,提出一种新的语言表示模型,称为ERNIE(Enhanced Representation through Knowledge Integration).ERNIE旨在学习到通过知识屏蔽策略增强的语言表示,其中屏蔽策略包括实体级屏蔽(Entity-level strategy)和短语级屏蔽(Phrase-level strategy)。 entity-level 策略通常会掩盖由多个单词组成的实体; Phrase-level 策略会原创 2021-05-07 08:37:47 · 4533 阅读 · 1 评论 -
论文笔记 | FLAT: Chinese NER Using Flat-Lattice Transformer
作者:刘锁阵单位:燕山大学论文地址:https://arxiv.org/pdf/2004.11795.pdf代码地址:https://github.com/LeeSureman/Flat-Lattice-Transformer文章目录背景介绍模型设计将格子转换为平坦结构对于区间的相关位置编码实验结果Character-word lattice结构对于解决中文NER问题是有效的,然而由于格子结构是复杂的和动态的,大多数现在的基于格子的模型很难完全利用GPU的并行计算能力,并且通常有着比较低的推断速度原创 2021-05-06 10:25:20 · 1147 阅读 · 1 评论 -
论文笔记|Overcoming the challenge for text classification in the open world
论文笔记|Overcoming the challenge for text classification in the open world作者:徐甘霖单位:燕山大学文章概述 文本分类是指从一个类的集合中区分出一个类。传统的分类算法假设训练数据与测试数据具有的数据空间,而如果某些测试数据集没有在训练数据集出现过,我们称之为未知类别(unknow),这就是开放领域文本分类问题。因此,在开放领域文本分类中,分类器能否识别出未知类及其分类性能是一个关键问题。相关研究...原创 2021-05-04 20:24:45 · 281 阅读 · 0 评论