自然语言处理
命名实体识别
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Unified Named Entity Recognition as Word-Word Relation Classification | AAAI | 2022 | W2NER | 本文建立了一个统一的命名实体识别模型,解决了NER领域当前嵌套实体、不连续实体的难题,其思想和TPLinker有异曲同工之处。将NER建立成2维网格,提出了多粒度卷积进行网格优化,推动了NER任务的统一。 | W2NER |
关系抽取
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
事件抽取
综述
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
A Survey on Deep Learning Event Extraction: Approaches and Applications | TANNLS | 2022 | 解读 | 本文回顾了2022年以前事件抽取模型进展,主要针对深度学习模型的研究。并为事件抽取模型进行文献分类,总结了事件抽取的范式和模型。分析了未来的研究方向。 | - |
事件检测/事件触发词抽取
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Saliency as Evidence: Event Detection with Trigger Saliency Attribution | ACL | 2022 | SaliencyED解读 | 本文将事件触发词检测分为两种情况,一种是更依赖触发词的,另一种是更依赖上下文的。本文采用触发词显著归因将其进行划分,对于第一种采用正常的序列标注模型,对于第二种将会先检测上下文中部分词显著性较高的词(非触发词),引入外部知识进行强化。 | SaliencyED |
DESED: Dialogue-based Explanation for Sentence-level Event Detection | COLING | 2022 | DESED解读 | 本文提出使用GPT在原始句子的基础上生成对应提示上下文,并提出了三种简单的对话解释,并采用注意力机制将原始句子和生成句子进行融合,从而实现原句增强 | DESED |
Event Detection with Dual Relational Graph Attention Networks | COLING | 2022 | DualGAT解读 | 在句子级事件检测的基础上,使用句法关系和语义关系构建了一个对偶关系增强的注意力网络(重点在于句法图和语义图构建和剪枝),在对偶关系图的基础上使用图注意力网络进行知识增强,最后进行联合知识解码 | DualGAT |
KiPT: Knowledge-injected Prompt Tuning for Event Detection | COLING | 2022 | KiPT解读 | 在句子级事件检测的基础上,引入外部知识WordNet和软知识进行特征增强,外部知识引入是根据每个词的词性进行针对性增强,在使用生成模型进行条件解码 | - |
事件论元抽取
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction | ACL | 2022 | PAIE解读 | 本文根据提示在每个角色的输入文本中选择开始/结束标记,引入了两个span选择器,它通过多角色提示捕获论元交互,并通过二部匹配损失(优化算法)进行最优跨度分配的联合优化。PAIE是将提示输入到解码器中,提供了不同的角度去分析论元角色 | PAIE |
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction | ACL | 2022 | X-GEAR解读 | 本文设计了一种与语言无关的提示模板,兼容了各种语言的事件论元结构。在多语言生成模型上进行微调,来生成最终从输入段落中抽取的论元填充,并分析了各种语言迁移的效果 | X-Gear |
句子级事件抽取
数据集
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Title2Event: Benchmarking Open Event Extraction with a Large-scale Chinese Title Dataset | EMNLP | 2022 | Title2Event解读 | 提出了一种中文新闻标题句子级事件抽取数据集,数据形式类似于三元组<subject,predicate,object>,中文数据集。 | Title2Event |
MEE: A Novel Multilingual Event Extraction Dataset | EMNLP | 2022 | 添加链接描述 | ||
基于 分类 的方法
流水线抽取
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
EventGraph: Event Extraction as Semantic Graph Parsing | CASE | 2022 | EventGraph解读 | 语义图解码方式 | EventGraph |
CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction | ACL | 2021 | CasEE解读 | CasEE依次执行(类型检测、触发词抽取和论元抽取)(前者),其中重叠的目标根据前者的特定预测分别抽取。 | CasEE |
Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding | ACL | 2022 | Query and Extract解读 | 本文提出了一种新颖的事件抽取框架,该框架使用事件类型和论元角色作为自然语言查询,从输入文本中抽取候选触发词和论元。通过数据集中触发词和论元角色的分布进行上下文特征增强 | Event_Query_Extract |
联合抽取
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Joint Information Extraction with Cross-Task and Cross-Instance High-Order Modeling | Arixv | 2022 | HighIE解读 | 设计了两类高阶因子(同质因子和异质因子),可以在训练和推理过程中结合跨任务和跨实例交互 | HighIE |
OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction | COLING | 2022 | OneEE解读 | 很新颖的想法,将TPlinker关系抽取的思想用于事件抽取,实现了联合抽取触发词和论元,在使用自适应事件融合函数加强事件间的交互。解决了错误传播和事件触发词,论元嵌套的问题 | OneEE |
Abstract Meaning Representation Guided Graph Encoding and Decoding for Joint Information Extraction | NAACL | 2021 | AMR-IR解读 | 本文利用抽象语义表示AMR进行辅助事件抽取,利用AMR语义聚合器和AMR引导图解码,分别加强了触发词和抡元之间的交互,触发词和论元之间的解码。 | AMR-IE |
Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks | NAACL | 2021 | FourIE解读 | 本文先进行触发词识别和实体识别,然后构建触发词和实体交互图,利用GCN对图特征进行增强对最后结果进行预测。将预测的结果和真实的情况在重建图,得到预测和真实之间的图损失值进行强化训练。 | - |
Joint Extraction of Entities, Relations, and Events via Modeling Inter-Instance and Inter-Label Dependencies | NAACL | 2022 | GraphIE解读 | 本文提出从数据中诱导任务实例之间的依赖关系图来促进表示学习。为了更好地捕获实例标签之间的依赖关系,通过条件随机场直接估计它们的联合分布。引入噪声对比估计来解决模型训练中难以处理的联合似然的最大化问题。最后,为了改进之前工作中的贪心搜索或束搜索的解码,提出了模拟退火,以便在解码时更好地找到实例标签的全局最优分配。 | - |
A Joint Neural Model for Information Extraction with Global Features | ACL | 2020 | OneIE解读 | 本文首次提出了事件联合抽取模型,利用识别的触发词和实体提及构建局部图分类器,在使用beam search全局搜索最优图。解码阶段利用全局特征捕获跨实例和跨任务的交互,从而优化结果。 | OneIE |
基于 问答/提示 的方式
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Event Extraction as Machine Reading Comprehension | EMNLP | 2020 | RCEE论文解读 | 首次将事件抽取转化为机器阅读理解问题,生成特定问题进行事件抽取。 | RCEE |
Global Constraints with Prompting for Zero-Shot Event Argument Classification | EACL | 2023 | 论文解读 | 提出了一种利用前缀提示进行零样本事件抽取的方法。 | Code |
Dynamic Prefix-Tuning for Generative Template-based Event Extractio | ACL | 2022 | GTEE-DYNPREF论文解读 | 基于生成模板的动态前缀事件抽取,通过集成上下文信息和特定类型的前缀来学习每个上下文的特定上下文前缀。 | - |
DEGREE: A Data-Efficient Generation-Based Event Extraction Model | NAACL | 2022 | DEGREE解读 | 给定一篇句子和一个手动设计的提示,DEGREE学会将句子中提到的事件总结成一个遵循预定义模式的自然句子。然后用确定性算法从生成的句子中抽取出最终的事件。 | DEGREE |
Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction | ACL | 2022 | PAIE解读 | 本文根据提示在每个角色的输入文本中选择开始/结束标记,引入了两个span选择器,它通过多角色提示捕获论元交互,并通过二部匹配损失(优化算法)进行最优跨度分配的联合优化。PAIE是将提示输入到解码器中,提供了不同的角度去分析论元角色 | PAIE |
Event Extraction by Answering (Almost) Natural Questions | EMNLP | 2020 | EEQAj解读 | 本文首次将事件抽取任务转化为QA任务,通过问答形式进行抽取事件触发词和论元角色,并且在零样本时也具有一定的效果。 | EEQA |
Retrieval-Augmented Generative Question Answering for Event Argument Extraction | EMNLP | 2022 | RGQA解读 | 本文提出了一种用于事件论元抽取的检索增强生成QA模型(R-GQA),检索与文本最相似的QA对,并将其作为当前示例上下文的提示,然后将论元解码为答案。采用聚类的采样策略对少样本学习及逆行深入分析。 | RGQA |
对比学习
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
CLEVE: Contrastive Pre-training for Event Extraction | ACL | 2021 | CLEVE解读 | CLEVE在与训练过程中使用自动解析器(AMR)去获取大量的无监督数据和语义信息进行预训练,有一个学习语义的文本编码器,一个学习事件语义结构的图编码器 | CLEVE |
迁移学习
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck | COLING | 2022 | UnifiedEAE解读 | 不同数据集之间标注可能存在差距,事件记录可能很复杂,很难用统一的模型来抽取。本文采用变分信息瓶颈消除数据集间的不相关信息,保留数据集的共享信息,学习不同数据间的格式 | - |
文档级事件抽取
数据集
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
DocEE: A Large-Scale and Fine-grained Benchmark for Document-level Event Extraction | NAACL | 2022 | DocEE解读 | 提出了一个文档级事件抽取数据集,该数据集具有大规模手动标注、细粒度论元类型和面向应用程序三大特点。该数据集是英文的。 | DocEE |
方法
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Document-Level event Extraction via human-like reading process | ICASSP | 2022 | 解读 | 将文档级事件抽取分解为粗略阅读和精细阅读两个迭代阶段。第一个阶段浏览文档以检测事件的发生,第二个阶段用于抽取特定的事件论元。 | - |
A Two-Stream AMR-enhanced Model for Document-level Event Argument Extraction | NAACL | 2022 | TSAR解读 | TSAR通过双流编码模块从不同角度对文档进行编码,解决论元分散问题。此外,TSAR还引入了基于局部和全局的AMR语义图的AMR引导交互模块,以捕获句内和句间特征。引入一种辅助边界损失来显式增强文本跨度的边界信息。 | TSAR |
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction | NAACL | 2022 | RAAT解读 | 提出了一种针对事件触发词和论元角色之间关系依赖进行增强的Transformer机制,有效地解决DEE论元分散问题 | RAAT |
Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding | ACL | 2020 | Multi-Granularity Reader解读 | 本文采用一个折中策略来解决DEE,提出了K_sentence阅读器和段落级阅读器,结合两者的特征形成一个多粒度阅读器进行DEE任务 | Multi-Granularity Reader |
Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker | ACL | 2021 | GIT解读 | 本文针对DEE论元分散和事件间相关性建模问题,提出了带有跟踪器的异构图交互模型,该模型可以捕捉不同句子实体提及的交互,不同事件之间的交互 | GIT |
Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction | EMNLP | 2019 | Doc2EDAG解读 | 本文针对DEE任务,提出了一个无触发词的DEE任务,来简化事件标记。利用抽取出来的实体构建实体有向无环图进行交互,融合句子信息、文档信息进行解码 | Doc2EDAG |
Document-level Event Extraction via Parallel Prediction Networks | ACL | 2021 | DEPPN解读 | 采用不同粒度解码器进行解码事件和论元角色,并提出了一种新的匹配损失优化计算 | DE-PPN |
CLIO: Role-interactive Multi-event Head Attention Network for Document-level Event Extraction | COLING | 2022 | CLIO解读 | 本文提出了一种面向DEE的角色交互多事件头注意力网络。通过将不同的事件映射到多个子空间,将DEE分解为多个子步骤,以处理嵌套的论元和多个事件。为了进一步优化事件表示,应用事件表示增强策略来正则化对比预训练的嵌入空间,使其更加各向同性 | - |
事件因果关系识别
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Event Causality Extraction with Event Argument Correlations | COLING | 2022 | DualCor解读 | 传统的事件因果关系识别忽略了关键事件结构和因果关系,DualCor提出了一种双网格标记来捕获事件内和事件间因果关系,进而增强事件因果关系识别 | DualCor |
预训练语言模型
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
RoFormer: Enhanced Transformer with Rotary Position Embedding | Arxiv | 2021 | ReFormer解读 | 提出了一种高效的旋转位置编码,并对当前的位置编码进行综述。 | ReFormer |
其他
句子嵌入
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
SimCSE: Simple Contrastive Learning of Sentence Embeddings | EMNLP | 2021 | SimCSE解读 | 本文提出了一种句子级对比学习的模型,既可以监督方式也可以无监督方式进行句子嵌入,使用该模型可以得到一个句子的向量表示。 | SimCSE |
计算机视觉
通用视觉骨干网络
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Training data-efficient image transformers & distillation through attention | ICML | 2021 | DEIT解读 | 提出了一种针对vision transformer的数据蒸馏方式,以及卷积模型和vision transformer分别作为教师模型和学生模型的策略。 | DEIT |
BEIT: BERT Pre-Training of Image Transformers | ICLR | 2022 | BEIT解读 | 针对vision transformer提出了一种自监督的预训练方式,掩码图像建模,类似于文本的MLM。 | BEIT |
IS ATTENTION BETTER THAN MATRIX DECOMPOSITION? | ICLR | 2021 | Hamburger解读 | 提出了Hamburger结构,将全局信息建模转化为低秩补全问题,利用矩阵分解和梯度优化对其及进行求解。 | Hamburger |
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows | ICCV | 2021 | Swin-Transformer解读 | 在ViT的基础上提出了分层Transformer的概念,并提出了移位窗口高效的特征交互和计算效率,推动了Vision Transformer的后续发展。 | Swin-Transformer |
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale | ICLR | 2020 | ViT解读 | 首次在视觉领域提出了Transformer的概念,将图像进行分块处理,输入到Transformer模型上进行计算。本文也算Transformer应用到视觉领域的开山之作,打破了CNN在视觉领域的绝对领导地位。 | ViT |
语义分割网络
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
The Fully Convolutional Transformer for Medical Image Segmentation | WACV | 2023 | FCT解读 | 提出了卷积注意力机制,极大提升了实验效果 | FCT |
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation | NeurIPS | 2022 | SegNext解读 | 重新设计了卷积结构,结合Hamburger解码器实现了SOTA | SegNext |
Segment Anything | Arxiv | 2023 | SAM解读 | 首次将提示用于语义分割领域,号称图像的GPT-3,提供了点、框、文本三种提示方式增强语义分割,开源了一个巨大的语义分割数据集 | SAM |
Segmenter: Transformer for Semantic Segmentation | ICCV | 2021 | Segmenter解读 | 本文在ViT的基础上提出了Mask Transformer的语义分割解码器,将类嵌入和ViT提取的特征进行特征增强,得到更好的语义分割结果 | segmenter |
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers | NeurIPS | 2021 | SegFormer解读 | SegFormer是专门设计的语义分割网络,采用层次编码结构(类似于Swin-Transformer),可以输出多尺度特征,并且不需要位置嵌入。其次,SegFormer避免了复杂的解码器,使用MLP解码。 | SegFormer |
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation | ECCV | 2021 | Swin-Unet解读 | 本文利用Swin-Transformer构建了一个U型语义分割网络,并没有按照官方给出的大模型结构,而是自己搭建了一个更小的模型进行预训练,独特之处在于解码器的上采样层不是upsample,而是Swin-Transfromer的path merge的逆过程,有效提升了模型的精度 | Swin-Unet |
Unified Perceptual Parsing for Scene Understanding | ECCV | 2018 | UperNet解读 | 本文针对层级图像特征的抽取结果进行分析,将不同层级的特征用于处理不同粒度的任务。该模型的目前广泛被用于语义分割,层级编码器的解码网络 | UperNet |
多模态
表征学习
论文名称 | 期刊/会议 | 时间 | 解读 | 特点 | 代码 |
---|---|---|---|---|---|
Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language | - | 2022 | Data2Vec解读 | 提出了一种视觉、语音和文本的统一自监督模型,相对之前的统一表示模型,现在效率更高、花费更少。 | data2vec |