NLP事件抽取顶刊顶会模型汇总-2021

文章介绍了多种事件抽取方法,包括基于span的SpERT、使用BART的BRAD数据集、序列到结构生成的TEXT2EVENT、级联解码的CasEE、无监督的CLEVE、基于MRC的FEAE和生成模型Gen-arg等,强调了预训练模型、负样本采样、局部上下文表示以及跨句子上下文理解的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SpERT(基于span)(使用BERT)

Span-based Joint Entity and Relation Extraction with Transformer Pre-training

  1. 提出了一种基于spans的联合实体和关系的提取方法。我们的方法看似简单但有效,始终比之前的工作多出2.6%(关系提取F1得分)
  2. 我们调查了几个对我们的模型成功至关重要的方面,表明(1)来自同一个句子的负样本产生的训练是既高效又有效的,而且足够多的强负样本显得至关重要。(2)局部上下文表示是有益的,特别是对于较长的句子。(3)我们还研究了预训练的效果,表明对预训练模型进行微调,比从零开始训练的效果更好。

BRAD(提出数据集)(使用BART)

Event Extraction from Historical Texts: A New Dataset for Black Rebellions

提出了一个新的数据集(论文没有给公开的数据集链接), 是本文的主要贡献点。

TEXT2EVENT(生成模型)

TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction

  1. 提出了一个事件抽取新的范式:sequence-to-structure generation,以端到端的方式直接从文本中抽取事件。
  2. 提出了一个sequence-to-structure结构,在推理期间(对于事件知识)使用约束的解码算法,使用课程学习算法进行模型学习。

CasEE(基于分类)(使用了BERT,CLN)

CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction

  1. 系统地研究了事件抽取中的重叠问题,并将其分为三种模式。
  2. 提出了一种新的CasEE的级联解码联合学习框架,同时解决这三种重叠模式。
  3. 在一个公开的中国金融事件数据集FewFC上进行实验。实验结果表明,与现有的方法相比,CasEE在重叠事件抽取方面取得了显著的改进。

CLEVE(无监督的方法,使用GNN作为图编码器)

CLEVE: Contrastive Pre-training for Event Extraction

  1. 提出CLEVE:一种利用AMR结构构建自监督信号的面向事件的对比预训练框架,更好地从大规模无监督数据和它们的语义结构(:AMR)中学习事件知识。

FEAE(基于MRC)

Trigger is Not Sufficient: Exploiting Frame-aware Knowledge for Implicit Event Argument Extraction

  1. 我们引入了一个框架感知的事件参数提取框架来训练隐式事件参数提取模型。事件框架级别的知识被用于推理和捕获触发器和参数之间的长期依赖关系。
  2. 该模型学习隐式地整合框架层次的知识。知识提取和课程学习被用来驱动一个模型,这个模型不需要额外的工具来产生推理线索,并且可以隐含地包含框架层次的知识。

Gen-arg(生成模型)

Document-Level Event Argument Extraction by Conditional Generation

  1. 提出了一种文档级神经元事件参数抽取模型,将任务模拟为事件模板后的条件生成。
  2. 我们使用条件生成模型提取论元,其中条件是一个未填充的模板和一个上下文。

GIT(基于GCN)(使用GCN)

Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker

篇章级事件抽取旨在从整篇文章中识别出事件信息。现有的方法面临的两个挑战是:① 目标 事件元素可能分散在各句子之间,需要模型对cross-sentence的上下文有全面的理解;② 一个文档中可以同时包含多个相关事件,对事件之间的相互依赖关系进行建模仍然是篇章级事件抽取的一项挑战;

本文提出GIT模型实现DEE,贡献为:① 构建了一个具有提及节点和句子节点的异构图交互神经网络,从全局角度联合建模文档中的实体和句子,从而捕捉分散在不同句子中的事件元素的全局上下文;② 为了便于多事件提取,提出了一个Tracker模块,用一个全局记忆模块连续跟踪提取记录,捕获事件之间的相互依赖关系。

NoFPFN(提出评估指标)

Revisiting the Evaluation of End-to-end Event Extraction

提出新的评估指标

GATE(基于GCN修改编码器)(使用GCN)

GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction

  1. GCN 缺乏对长期依赖或依赖树中不连贯的词的建模。
  2. 提出一个图注意力Transformer编码器(捕捉远距离依赖和忽略词序),进行英语、汉语、阿拉伯语的跨语言迁移,完成关系抽取和论元抽取(触发词被提供)

对transformer编码器中的attention进行修改

GRIT(生成模型)(使用BERT)

GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction.

  1. 提出了一个新的端到端的生成式transformer模型(基于BERT,在解码端添加指针选择模块和一个生成head(建模文档级抽取决策)),用于文档级的角色填充实体抽取。
  2. 为了测量模型抽取每个角色实体的能力,提出了一个基于最大二分匹配算法的评测指标。

Wen et al.(基于GAT)(使用GAT)

Event Time Extraction and Propagation via Graph Attention Networks.

本文首次提出了基于四元组时间表示的实体时隙填充问题,使得模糊时间跨度的表示更加方便。然后提出了一种基于图注意网络的文档级事件图传播时间信息的方法,该方法由共享实体参数和时间关系构成。

### 关于知识蒸馏方向的级会议和期刊 在知识蒸馏领域,研究通常集中在如何通过更高效的模型结构或算法设计来压缩大型预训练语言模型(PLMs),从而实现更高的推理效率而不显著降低性能。这一领域的研究成果多见于人工智能机器学习以及自然语言处理相关的级学术会议和期刊。 #### 级会议 以下是一些专注于知识蒸馏及其应用的主要国际级会议: 1. **NeurIPS (Conference on Neural Information Processing Systems)** NeurIPS 是全球范围内最具影响力的机器学习和计算神经科学会议之一,涵盖了大量关于知识蒸馏的研究成果[^2]。它不仅关注理论进展,还涉及实际应用场景中的优化方法。 2. **ICML (International Conference on Machine Learning)** ICML 提供了一个展示最新机器学习技术发展的平台,在这里可以找到许多有关 PLM 压缩加速的技术论文[^3]。 3. **ACL (Annual Meeting of the Association for Computational Linguistics)** ACL 被认为是 NLP 领域最权威的年度盛会,其中包含了众多探讨如何利用 KD 技术改进文本生成质量的工作报告[^4]。 4. **EMNLP (Empirical Methods in Natural Language Processing)** EMNLP 更加侧重实证分析方面的贡献,因此也是探索不同形式的知识传递机制的理想场所[^5]。 5. **NAACL-HLT (North American Chapter of the Association for Computational Linguistics: Human Language Technologies)** NAACL 同样属于重要的区域性 NLP 学术活动序列的一部分,近年来也增加了不少围绕轻量化 Transformer 架构展开讨论的内容[^6]。 #### 开源纯语言模型资源 对于希望获取并实验这些先进理念的人来说,有几个值得推荐的开源项目可供参考: - Hugging Face Transformers Library (`transformers`) 提供了一系列经过良好验证的基础架构实现方案,支持多种主流框架下的快速部署操作[^7]。 ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased") model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased") ``` - PyTorch Lightning 和 Catalyst 等工具包简化了复杂流程管理的同时保留高度灵活性以便自定义扩展功能[^8]。 - TensorFlow Hub 则允许用户轻松访问预先训练好的模块集合用于特定任务迁移学习尝试[^9]。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值