【NLP | 关系抽取】阅读总结2019年(暂定每周更新三篇以上)
写在前面:
几个月以来读了一些论文,但总结工作并不到位,反思了一下还是决定拾起来博客重新记录总结整理的过程,愈加意识到学习过程中的总结十分重要,时刻对自己保持高水准的要求才有进步的空间,学无止境,以此自勉!
ACL
[1] ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification
分析 | 内容 |
---|
动机 | 之前的注意模型只关注了实体,而忽略了对于关系模式的关注 |
数据集 | 自行改良的NYT |
分类 | |
方案 | |
创新点 | |
创新角度 | |
缺点 | 文中设定两个实体之间的单词作为关系模式,而在选择示例的时候,认为只要模型关注的关系模式单词与提前设定的不一致,就认为示例为假,很明显,由于真正的关系模式单词不一定总是出现在句子中间,因此局限性很大 |
缺点角度 | |
[2] Graph Neural Networks with Generated Parameters for Relation Extraction
[3] Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification
分析 | 内容 |
---|
动机 | KB中长尾问题的存在导致在训练样本很少的时候很难关系分类,少样本学习可以解决这样的问题 |
数据集 | FewRel |
分类 | |
方案 | 采用少样本学习的方法,旨在通过多level匹配和聚合来改善具有稀少样本的关系的分类效果(即处理长尾问题)。有三个阶段,首先通过local匹配和聚合来将query和support示例交互编码得到相应的新的表示;然后,将上述一个类中的support示例表示分别与query示例做相似度计算,通过注意力机制将一个类中的support示例聚合起来得到一个类的类原型,按这种方法得到所有类的类原型;最后,将query表示与上述所有类原型进行相似度计算。它将成为损失函数的一部分 |
创新点 | 之前的方法中query instance和support instance独立编码,本文使其相互影响;从local和instance两个level计算匹配和进行聚合 |
创新角度 | ATT创新 |
缺点 | 目前训练起来数据集只有FewRel,应用限制较大,应考虑如何扩展到更广的数据集上;希望能够扩展到零样本学习场景 |
缺点角度 | 应用场景 |
[4] DIAG-NRE: A Neural Pattern Diagnosis Framework for Distantly Supervised Neural Relation Extraction
分析 | 内容 |
---|
动机 | 为了减轻模式编写的工作量,并快速归纳出新的关系类型 |
分类 | RL |
数据集 | NYT、UW |
方案 | |
创新点 | |
创新角度 | |
缺点 | |
缺点角度 | |
[5] Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
分析 | 内容 |
---|
动机 | 旨在缓解远程监督带来的噪声标签问题,长尾问题 |
分类 | DS、预训练语言模型 |
数据集 | NYT10 |
方案 | 使用多示例学习场景下的注意力机制扩展transformer,模型可以以高置信度预测更多不同关系类型 |
创新点 | 本文的模型不依赖显式的特征(比如,依赖树、命名实体类别、关系别名等),仅依赖于语言模型在无监督的预训练过程中捕获的特征 |
创新角度 | 方法搬移 |
缺点 | 只是在GPT基础上加了一个RE的下游任务,模型上没有什么改进 |
缺点角度 | 创新程度 |
[6] DocRED A Large-Scale Document-Level Relation Extraction Dataset
[7] Attention Guided Graph Convolutional Networks for Relation Extraction
[8] Chinese Relation Extraction with Multi-Grained Information and External Linguistic Knowledge
[9] Span-Level Model for Relation Extraction
[10] Entity-Relation Extraction as Multi-turn Question Answering
[11] Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data
[12] Fine-Grained Temporal Relation Extraction
[13] GraphRel Modeling Text as Relational Graphs for Joint Entity and Relation Extraction
[14] Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
[15] Neural Relation Extraction for Knowledge Base Enrichment
EMNLP
AAAI