自然语言处理
文章平均质量分 83
期待成功
我们是燕山大学自然语言处理和知识图谱研究团队,我们的研究兴趣包括信息抽取、知识图谱构建、机器阅读理解和文本摘要生成。
展开
-
论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation
任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时,使用了不同的预测任务和训练目标,如下表所示。ELMo:学习两个单向LM,正向LM从左到右读取文本,反向LM从右到左编码文本。GPT:使用从左到右的Transformer逐字预测文本序列。BERT:采用双向Transformer编码器,结合左右上下文来预测掩码。BERT显著提高了许多NLP任务的性能,但由于其双向性,注重于对文档的理解,却难以应用于自然语言生成任务。针对上表三种.原创 2021-07-17 15:09:05 · 672 阅读 · 0 评论 -
论文解读 | ERICA: Improving Entity and Relation Understanding for PLM via Contrastive Learning
单 位:燕山大学作 者: 王 琴摘要 预训练语言模型 (PLM) 能在各种下游自然语言处理 (NLP) 任务中表现出卓越的性能。然而,传统的预训练目标并没有明确地对文本中的关系进行建模,但这对于文本理解却至关重要。为了解决这个问题,作者提出了一种新颖的对比学习框架 ERICA,以深入了解文本中的实体及其关系。作者定义了两个新的预训练任务来更好地理解实体和关系:(1)实体判别任务,用于区分给定的头部实体和关系可以推断出哪个尾实体; (2)关系判别任务,在语义上区分两个关系是否接近,这涉及复原创 2021-07-16 00:07:46 · 821 阅读 · 3 评论 -
论文笔记|Breaking the Closed World Assumption in Text Classification
这是2016年的一篇论文,提出open classification(开放分类)的概念,并应用到自然语言处理领域。原创 2021-07-14 20:26:24 · 283 阅读 · 0 评论 -
论文笔记:Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding
作者:陈宇飞单位:燕山大学paper ACL2020code目录一、Abstract二、Introduction三、Methodology3.1 Constructing Paired Token-tag Sequences from Documents and Gold Role Fillers3.2 k-sentence Reader3.3 Multi-Granularity Reader四、Result五、Conclusion一、Abstract 首先本文研究了端到端的预训练模.原创 2021-07-13 20:28:19 · 574 阅读 · 0 评论 -
论文笔记|Denoising Relation Extraction from Document-level Distant Supervision
作者:李瑾单位:燕山大学论文地址目录一、 概述二、方法1. 整体框架2.Document Encoder2. Mention-Entity Matching① 文档内实体提及一、 概述 句子级关系抽取关注的是同一句子内部的实体之间的关系,但实际生活中很多关系存在于多个句子间。 远程监督假设一个实体只对应一种关系,但实际上一个实体对应多种关系,且同一个句子中包含相同的实体对并不一定表示具有相同的关系。因此,使用远程监督进行关系抽取将会带来噪声。 为了降低文档级远程监督的噪声并提高有用信原创 2021-07-12 21:57:40 · 400 阅读 · 1 评论 -
2021-07-09
转自:NLP工作站 知乎 刘聪NLP主要包括10个分类,如下:(1)预训练语言模型及应用(58篇);(2)表征学习(9篇);(3)问答及检索(42篇);(4)文本生成(29篇);(5)摘要(23篇);(6)小样本(16篇);(7)对话(32篇);(8)情感及情绪分析(15篇);(9)信息抽取(60篇);(10)其他(21篇)。update:刘聪NLP:ACL2021 Findings论文汇总及分类一、 预训练语言模型及应用Long(1)How Good is Your Tokenizer? O转载 2021-07-09 10:17:41 · 2154 阅读 · 0 评论 -
论文笔记:Jointly Multiple Events Extraction via Attention-based GraphInformation Aggregation
作 者:崔金满单 位:燕山大学Abstract在现实世界中,经常存在一个句子中包含多个事件的现象,提取多个事件比提取单个事件要困难,本文提出一种联合多事件提取框架,通过引入syntactic shortcut arcs来增强信息流,并通过基于注意力的图卷积网络来对图信息进行建模,从而联合抽取多个事件触发器和元素。Introduction在事件抽取中,一个句子中可能同时出现多个事件,由于这些不同类型的事件之间通常是相互关联的,导致提取困难。比如,“He left the company, an原创 2021-07-05 09:00:25 · 600 阅读 · 0 评论 -
论文笔记|Get To The Point: Summarization with Pointer-Generator Networks
该论文是ACL2017的一篇影响力较大的论文:论文地址文章目录概述模型基线模型指针生成网络实验分析概述抽取式文本摘要实现简单,所有内容都是从原文中抽取,但想要高质量的,足够抽象的摘要,则需要进行生成式文本摘要。神经序列到序列模型是生成式文本摘要的一种可行的方法。然而,这些模型有两个缺点:重现事实细节不准确,重复生成。在本文工作中,作者提出了一个新的架构,以两种正交的方式增强标准的seq2seq的注意力模型。首先,作者使用一个混合的pointer-generator网络。一边能从源文本复制单词,有原创 2021-07-03 12:45:35 · 312 阅读 · 1 评论 -
论文解读 | QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION
单位 : 燕山大学作者 : 王 琴摘 要 当前使用端到端方法的机器阅读和问答 (Q&A) 模型主要是基于具有注意力的循环神经网络(RNN)。这种方法的确取得了很大的成功,但由于 RNN 的顺序性,这些模型在训练和推理方面通常都很慢。因此作者提出了一种新的问答架构,称为 QANet,它不需要循环网络,编码器完全由卷积和自注意力构成。其中,卷积对局部关系进行建模,使用自注意力对全局关系进行建模。在 SQuAD 数据集上,此模型的训练速度是RNN的 3倍到13 倍,其推理速度提高 4 到原创 2021-07-02 00:24:34 · 414 阅读 · 1 评论 -
论文笔记|Open-world Learning and Application to Product Classification
单位:燕山大学作者:徐甘霖在开放领域文本分类的基础上,提出开放世界学习的概念,即一个系统在能识别已知类、拒绝未知类的基础上,能够通过不断的学习未知类。当学习的未知类的数量足够多时,能够将这个未知类增加到系统的已知类集合中。为此,作者提出一个L2AC模型,如下图所示。模型的核心组件有Ranker和Mete-Classifier组成,Ranker的作用的是在每个已知类中抽取与一个测试样例的最近邻的k个已知类样例,然后将这些已知类的k个样例存入Meta-Classifier的Memory中。Meta-Cl原创 2021-06-30 20:17:10 · 726 阅读 · 1 评论 -
论文笔记|GSum: A General Framework for Guided Neural Abstractive Summarization
作者:景单位:燕山大学论文来源:NAACL2021代码地址前言 生成式摘要神经网络模型很灵活,可以产生连贯的摘要,但它们有时不可靠并且难以控制。虽然以前的研究试图提供不同类型的指导来控制模型输出和增加可信度,但尚不清楚这些策略如何相互比较和对比。 在本文中,作者提出了一个通用且可扩展的引导式摘要框架GSum,它可以有效地将不同种类的外部引导作为输入,并在几个不同的品种上进行实验。 实验表明,该模型是有效的,在使用突出显示的句子作为指导时,根据 ROUGE 在 4 个流行的摘要数据集上实现了..原创 2021-06-23 17:08:56 · 1002 阅读 · 1 评论 -
论文笔记 | Text Summarization with Pretrained Encoders
该论文来自EMNLP2019,论文地址文章目录概述IntroductionBERT抽取式摘要生成式摘要评价指标BERT 编码器抽取式模型生成式模型实验及分析总结概述本文提出了基于BERT的文档级编码器,该编码器能够表达文档的语义,并获得文档的句子表示。并分别提出了抽取式和生成式的摘要模型。抽取式模型:在该编码器的基础上,叠加几个句子间的transformer层生成式模型:本文提出了一种新的微调schedule,采用不同的optimizer应用于encoder和decoder,以减少两者间的原创 2021-06-19 12:02:14 · 1599 阅读 · 0 评论 -
论文笔记: Hierarchical Chinese Legal event extraction via Pedal Attention Mechanism
作者:陈宇飞单位:燕山大学论文地址:https://www.aclweb.org/anthology/2020.coling-main.9/目录一、摘要二、引言三、设计四、实验结果一、摘要 本文主要是使用NLP领域的事件抽取方法来解决中国法律领域中的相关问题。其中为了区分相似案件,为事件检测设计了分层的事件特征。此外,为了解决论元分类中的长距离语义依赖和共指消解问题,提出了一种新的pedal注意力机制,该踏板注意力机制的主要工作是通过依存的相邻词来提取两个词之间的语义关系。因为目前中国法律.原创 2021-06-15 18:17:25 · 490 阅读 · 1 评论 -
论文笔记| BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation
作者:景单位:燕山大学论文来源代码地址前言 先说说通常意义上的预训练模型,以BERT为例,它采用大规模预料对Transformer编码器进行预训练,保存编码器参数后接下游任务,针对不同的下游任务采取不同的微调措施,例如接分类器、接解码器等。这么做的好处在于“对症下药”,但实则可以看做是妥协的产物——因为在谷歌刚提出BERT的时候,并没有针对“只编不解”这个问题的良好对策,bert在编码器堆叠了12层,这12层模型的参数经过了大规模语料的千锤百炼,对文本特征的捕获能力是极强的,但是其下游任务..原创 2021-06-09 17:23:58 · 2467 阅读 · 1 评论 -
论文笔记:Constructing Narrative Event Evolutionary Graph for Script Event Prediction
Abstract脚本事件预测需要模型预测给定现有事件上下文的后续事件,现有的方法大都是基于事件链或事件对的模型,不能充分利用事件间的紧密联系,从而限制预测能力,针对这一问题,本文构建一个事件图来更好地利用事件的网络信息进行脚本事件预测。首先从大量新事件中提取叙事事件链,并基于提取的事件链来构建事件演化图(NEEG)。其中,NEEG可以看做是一个描述事件演化原理和模式的知识库。为在NEEG上解决推理问题,本文提出一种比例图神经网络(SGNN)来模拟事件交互,更好地学习事件表示。SGNN每次只处理已知事件相原创 2021-06-07 15:42:46 · 630 阅读 · 0 评论 -
论文笔记|Deep Open Intent Classification with Adaptive Decision Boundary
作者:徐甘霖单位:燕山大学原创 2021-06-01 21:30:25 · 982 阅读 · 1 评论 -
论文笔记
Entity, Relation, and Event Extraction with Contextualized Span Representations作者:陈宇飞单位:燕山大学论文地址:https://www.aclweb.org/anthology/D19-1585/论文代码: https://github.com/dwadden/dygiepp目录Entity, Relation, and Event Extraction with Contextualized Span Rep原创 2021-06-01 17:04:02 · 262 阅读 · 0 评论 -
论文笔记 | Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:景单位:燕山大学论文来源:ACL2020代码地址关于多文档摘要与单文档摘要 单文档摘要,字面意思就是对单个文档做摘要生成,这里的单个文档,其实质指的是文本篇幅在一定范围内(一般定义为512字长),而不是数字意义上的一个文档。 多文档摘要是联合多个篇幅文档内容进行来生成摘要,与单文档摘要的区别就在于多文档摘要的篇幅过长,而单文档摘要内容相对较短。只简单将各文档的内容进行拼接来生成摘要内容是不可取的,一是因为主流的预训练模型能接受的文本长度在512字,二是如果直接对超长文本进行训练会..原创 2021-05-26 17:27:22 · 637 阅读 · 0 评论