bert cnn知识抽取模型_【文本信息抽取与结构化】详聊如何用BERT实现关系抽取

常常在想，自然语言处理到底在做的是一件什么样的事情？到目前为止，我所接触到的NLP其实都是在做一件事情，即将自然语言转化为一种计算机能够理解的形式。这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。

这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。

BERT这么强大的预训练模型，当然会想着把他利用起来，本篇介绍如何利用BERT进行关系抽取。

作者&编辑 | 小Dream哥前述关系分类与提取是一个重要的NLP任务，其主要目标是提取出实体以它们之间的关系。在BERT之前，最有效的关系分类方法主要是基于CNN或RNN。最近，预训练BERT模型在许多NLP的分类和序列标注任务中都获得了非常好的结果。

因此，必然会有工作考虑利用BERT来自关系抽取。关系提取与分类的主要难点在于，其不仅仅依赖于两个目标实体的信息，还依赖于句子本身的语义及语法信息。利用BERT强大的编码能力，预期能够同时抽取到文本中的两种特征。事实上也正是如此，目前效果最好的关系抽取模型正是基于BERT的工作，本片介绍几个利用BERT来做关系抽取的工作。R-BERT模型R-BERT(作者这样称呼)，是我调研到的第一篇用BERT做RE的模型，所以笔者先介绍这个模型。

1) 模型结构Wu S , He Y . Enriching Pre-trained Language Model with Entity Information for Relation Classification[J]. 2019.如上图所示，是R-BERT的模型结构在