关键短语抽取及使用BERT-CRF的技术实践

BERT[23]是非常优质的预训练模型，包含了很多预训练语料中蕴含的外部知识和信息。我们以此为基础，训练BERT-CRF模型，作为candidate generation中重要的一路召回。另外的召回路包括基于模板 （pattern）和基于POS tags的NP抽取系统。CRF[12]是序列标注的经典方法，其核心思想是在进行序列标注时，把序列上的各个点当做一个整体来处理，而不是一个个独立的点，各个点的标注结果是有一定依赖关系的，以路径为单位进行训练。因此，通过训练，模型能在理解文本以外，还能理解输出序列的规则性知识，比如，使用BIO标注模式时，O后面不能直接接I。如果直接使用BERT进行序列标注，最后一层的softmax，本质上是n个k分类问题；而BERT-CRF由于CRF layer的存在，本质上是1个k^n分类问题[24]。

Figure 9 BERT与BERT-CRF的对比[24]

为了验证BERT-CRF确实能够提供我们需要的鲁棒的关键短语抽取能力，我们在NER和概念图谱（抽取该应用下定义的keyphrase）两个数据集上进行了以下的实验。

• NER
  ▫ 来源：https://github.com/zjy-ucas/ChineseNER (PER, LOC, OR)
  ▫ 特点：标准明确且基本固定
• 概念图谱中的关键短语抽取
  ▫ 来源
  ▪ 自有的标注数据（标准按照前述的两个特点：用户视角 & 精准和泛化）
  ▪ 训练集：来自于sourceA (网络爬取文章)
  ▪ 测试集：来自于sourceB (平安自有文章)

▫ 特点：存在前述的概念飘移问题

对于概念图谱的关键短语抽取，我们希望在sourceA上训练的模型，能够更好地适应于sourceB（当然，我们最终的系统是在sourceA + sourceB + all other sources训练得到的）。实验设定中训练和测试集采用不同来源，是为了在开发阶段，检验搭建的模块是否能够提供我们需要的鲁棒性。

NER数据集上的实验

https://zhuanlan.zhihu.com/p/148502336?from_voters_page=true