NER范式：①BERT+CRF；②Multi-Head（token pairs based）；③BERT+MRC；④Span-based

最新推荐文章于 2023-10-28 15:16:06 发布
最新推荐文章于 2023-10-28 15:16:06 发布
阅读量1k 收藏 10
点赞数 2
分类专栏： # NLP/IE-命名实体识别（NER） 文章标签： bert 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/129078486
版权

前言

这篇文章梳理下目前命名实体识别（NER）的业务场景与SOTA方法。

说到NER，是绕不开BERT+CRF的，根据本人的经验，BERT+CRF就算不是你当前数据集的SOTA，也与SOTA相差不大了，但考虑到

  • 更好的效果：CRF虽然引入了无向图，但只约束了相连结点之间的关联，并没有从全局出发来考虑问题
  • 更复杂的业务场景：如Flat NER到Nested NER、不连续NER等复杂业务场景的不断涌现，CRF是否还能优雅地解决问题
  • 更快的线上serving效率：CRF解码复杂度与输入的文本长度呈线性关系

本文，首先梳理下场景，再讨论方法，欢迎大家交流。

场景

举一个美妆NER的场景，要识别商品标题中的品牌、品类、产品名，共三个实体

嵌套（Nested）

  • 组间嵌套：如上图中的“隔离妆前乳”，既属于品类，也属于产品名的一部分
  • 组内嵌套：如上图的“妆前乳”，既是单独一个品类，也属于品类“隔离妆前乳”的一部分

不连续

  • 如上图的“苏菲娜控油隔离妆前乳”就为不连续的产品名，因为这里希望提取出的产品名是一个标准的产品名，因此中间一些无关的信息，如“限定款”不希望被抽取出来

范式一：BERT+CRF

嵌套与不连续

BERT+CRF怎么解决嵌套和不连续的场景呢？答案是分层CRF和万能的标签大法（schema tagging）。如下图所示

  • 解决组间嵌套的方式就是共享BERT，但训练多个CRF层
  • 解决组内嵌套通过设计标签，如品类那行的N标签，表示处于某个品类的中间部分，同时也是某个品类的开头
  • 解决不连续通过设计标签，如产品名那行的G标签，表示token处于不连续产品名的中间部分，这部分输出时是要舍弃的

可以看到，其实BERT+CRF也是可以很灵活的。

范式二：Multi-Head（token pairs based）

Multi-Head，用头token与尾token的来表示一段span（所以称为token pairs），再接一些交互层和分类层，得到Multi-head（多头）矩阵。

如上图的品牌head矩阵(0,5)位置为1，表示"SOFINA"为品牌。

嵌套与不连续

容易看到，Multi-Head能天然解决组间嵌套和组内嵌套问题。

解决不连续问题也可以通过设置head来相对优雅地进行解决，如这里设置多一个“产品名中间”的head，把产品名中间也当成一种实体提取出来，然后用提取出的产品名减去与它index有重叠的产品名中间，即可得到不连续的产品名。

构建 [L, L, N]多头矩阵的不同方式（乘性、加性、双仿射）

Multi-head最终得到的是一个[L,L,N]矩阵（这里忽略batch_size维度），其中L是输入的文本长度，N是实体类型数的，但怎么得到呢？这里介绍三种常见的方法

  • 乘性

《GlobalPointer：用统一的方式处理嵌套和非嵌套NER》[1]

类似transformer中的attention计算，最后用点积乘性操作来获得最后的分数。

  • 加性

《Joint entity recognition and relation extraction as a multi-head selection problem》[2]

值得注意的是，为了能利用GPU的并行优势，在实现加性时，要构建一个[B, L, L, 2*H]的大矩阵，占用显存非常大，导致训练的batch_size只能开得很小

  • 双仿射

《Named Entity Recognition as Dependency Parsing》[3]

在双仿射最开始的论文[4]中提到，上式的三部分可以分别理解为：对头为 � 尾为 � 的实体类别后验概率建模 + 分别对 � 为头或 � 为尾的实体类别的后验概率建模 + 对实体类别 � 的先验概率建模。

可以看到，双仿射是乘性与加性的结合，按交互来说，双仿射应该是最"深"的交互方式，应该是三种方式中的SOTA，但由于里面含有加性操作，同样有占用显存大的缺点。

位置信息

在NER任务中，位置信息，特别是相对位置非常重要，实验中发现，相对位置信息对于Multi-head这种token pairs based的模式更为重要，一句话总结：告诉模型start token与end token之间的距离非常关键。

举个例子，一段文本

欧莱雅新出的护肤系列里面的精华液很贵，但是乳液十分便宜

正常要提取的品类是“精华液”和“乳液”，但假如不加入位置信息，模型很容易会把“精华液很贵，但是乳液”也识别成品类，原因是token pairs这种模式，用"精"和"液"表示这段span，模型看到会觉得"精"和“液”很像是品类的头和尾，但模型不知道其实这段span是很长的，中间已经参杂了很多无用的信息。

因此，单纯靠在BERT输入端加入的绝对位置信息对于这种复杂场景来说，还不够，必须在靠近输出端再加入一层相对位置信息。

对于乘性算子，可以考虑苏神提出的旋转式位置编码，对于加行算子，可以在[B, L, L, 2*H]中加入相对位置信息，具体不在这里展开。

标签不平衡

多头矩阵存在大量的0标签，训练出来的模型很可能会高精确低召回，解决之道是通过改损失函数（如Focal Loss、Label Weight等）、负采样等方式来缓解这种不平衡。

这种比较推荐负采样，因为负采样还能缓解NER任务中的一大噪声——漏标。

对于垂直领域，漏标实在太常见了，在论文《Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition》[5]中提到，漏标对于训练出来的NER模型性能伤害是很大的，其实可以拿自己手头的NER数据做一些简单的实验，例如：

  • 数据集一：数据量5K，漏标率10%
  • 数据集二：数据量10K，漏标率20%

看看多出来一倍的数据量，是否能弥补多出来的10%漏标率。个人感觉是，漏标对于BERT+CRF这种以序列解码方式的模型来说影响是很大的。而多头怎么解决这种漏标呢？

答案很简单，负采样，如下图的"苏菲娜"漏标了，本来矩阵的(7,9)位置应该是1的，但现在gold label是0，通过负采样，不把这个loss来进行反向传播就完事了，那这个漏标就不会对参数更新造成影响。

至于负采样多少比较好？这个可能要依据你手头的数据集而定，有些论文会说每个输入文本采样100个负样本，在论文[5]实验中，采样个数为文本长度的0.3~0.4效果最好，总的来说，需要做实验得到这个超参。

Sigmoid or Softmax？

在多头中，损失函数的通常有两种选择

  • Softmax：构造（实体类型数+1）个head的多头矩阵，其中一个head代表null entity，最后在head的维度上做softmax
  • Sigmoid：构造（实体类型数）个head的多头矩阵，每个元素单独做sigmoid

通常来说，Softmax会比Sigmoid效果更好，训练速度更快，因为Softmax还融入了类间的互斥信息。

范式三：BERT+MRC

把NER任务当成机器阅读理解（MRC）任务来处理，把要提取的实体类型信息，显式地加入到输入中，如下图所示，预测的start和end即为对应实体的start和end。

统一信息抽取任务的范式

用MRC来做NER可以看香侬科技的两篇论文：

《Entity-relation extraction as multi-turn question answering》[6]

《A Unified MRC Framework for Named Entity Recognition》[7]

何谓统一呢？个人理解统一意味着用同一个模型架构来解决信息抽取的三大任务（命名实体识别、关系识别、事件抽取），做任务迁移时参数是完全可迁移的，不像BERT+CRF，做任务迁移的时候，要重新训练一个CRF层。

因此有个美好的设想，可以用公开的数据集、公司所有的信息抽取数据集先“预热”一个通用的机器阅读理解模型，以后有新任务来的时候，说不定只标3K~4K条数据就可以媲美标上万条数据的效果。

解决嵌套与不连续

MRC天然能解决组间嵌套的问题，

处理组内的嵌套，还需要多一步，就是计算一个类似“多头”的矩阵，与Multi-head不同的是，这里只有一个head，而且它是与entity type是无关的，因此也是可迁移的，与下图所示。

处理不连续问题，可以通过设置question来解决，如下图所示。

实体信息的知识增强

MRC比BERT+CRF和Multi-Head的优势在哪呢？

  • 一方面，可以利用大量的数据来预热
  • 另一方面，把entitiy的信息encode到输入端（即question中），有助于模型更“懂”要抽取的实体

因此，question的构造就显得十分重要了，这里提供几种方式构建question。

  • Pseudo question：伪问题，如品牌；品类；产品名
  • Rule-based template filling：基于模型的问题，如请抽取文中的品牌；请抽取文中的品类；请抽取文中的产品名
  • Annotation guideline notes：用标注规范的标注说明来表示问题，如
    • 美妆(彩妆、护肤、美容仪器、香水、配套工具)、日化(日用化学品）等商品的品牌
    • 美妆(彩妆、护肤、美容仪器、香水、配套工具)、日化(日用化学品）等品类商品，如口红、面膜、脱毛仪、古龙水、化妆刷
    • 完整的美妆(彩妆、护肤、美容仪器、香水、配套工具)、日化(日用化学品）产品名称

提高计算效率 & 提高知识注入的强度

用MRC来做NER的诟病就是计算效率太低，有N个entity type，就需要在BERT前向计算N次。

在2021年EMNLP的一篇论文《Enhanced Language Representation with Label Knowledge for Span Extraction》[8]中，提出了叫LEAR的模型架构，如下图所示。

本质就是不把question与context在BERT的输入端进行拼接，而是question和context分别前向，然后再经过一个fusion模块来进行交互，好处是，线上serving的时候，question的embedding只需要计算一次，要预测的每个context也只需要前向一次了。

那这种方式，会不会造成性能的损害呢？毕竟，原始的MRC是question与context从头交互到尾，而LEAR则只是靠近输出端交互。

论文的解释是不会，如下图所示，原始的MRC，例如现在求“judge”的attention，发现与question的交互并不紧密，大部分attention还是集中于context自身，而LEAR设计的fusion模块有一步是让context的token只能与question的token产生交互。

范式四：Span-based

《 Span-based Joint Entity and Relation Extraction with Transformer Pre-training 》[9]，区别于token pairs用头和尾token来表示这段span，span-based是用span的每个token做pooling来表示这段span，可以猜测的是，这种表征方式肯定要比token pairs要好。

但span-based貌似无法设计成并行的模式，时间复杂度太高！

总结

本文从实际场景出发，讨论了不同NER的范式，并给出不同方法的tricks细节，不过值得注意的是，采用哪种方式需要结合场景，举个例子

  • 场景一：想省心，就用BERT+CRF吧，BERT+CRF的好处是没有太多超参，只需要注意CRF层的学习率要比BERT调大一些，如大100倍左右
  • 场景二：手头的任务是很垂直的领域，能获得的数据集有大量的漏标，这种情况不妨尝试Multi-Head+负采样的方式，能缓解噪声的影响
  • 场景三：有大量相似的数据集，希望能利用起来，此时就可以选择BERT+MRC这种统一的范式

参考

  1. ^GlobalPointer：用统一的方式处理嵌套和非嵌套NER GlobalPointer：用统一的方式处理嵌套和非嵌套NER - 科学空间|Scientific Spaces
  2. ^Joint entity recognition and relation extraction as a multi-head selection problem https://www.sciencedirect.com/science/article/abs/pii/S095741741830455X
  3. ^Named Entity Recognition as Dependency Parsing https://arxiv.org/abs/2005.07150
  4. ^Deep Biaffine Attention for Neural Dependency Parsing https://arxiv.org/abs/1611.01734
  5. ^abEmpirical Analysis of Unlabeled Entity Problem in Named Entity Recognition https://arxiv.org/abs/2012.05426
  6. ^Entity-Relation Extraction as Multi-Turn Question Answering https://arxiv.org/abs/1905.05529
  7. ^A Unified MRC Framework for Named Entity Recognition https://arxiv.org/abs/1910.11476
  8. ^Enhanced Language Representation with Label Knowledge for Span Extraction https://arxiv.org/abs/2111.00884
  9. ^Span-based Joint Entity and Relation Extraction with Transformer Pre-training https://arxiv.org/abs/1909.07755

NLP系列之命名实体识别：从嵌套和不连续的场景出发，讨论四种ner范式BERT+CRF/Multi-Head/BERT+MRC/Span-based - 知乎

BERT中使用CRF的通俗理解 - 知乎

万创杯中医药天池大数据竞赛——中药说明书实体识别挑战_门头沟战队_冠军比赛攻略_天池技术圈-阿里云天池

GitHub - lonePatient/BERT-NER-Pytorch: Chinese NER(Named Entity Recognition) using BERT(Softmax, CRF, Span)

 

u013250861
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。数据集列表cner：数据集/ cner 主持人： ： 型号清单BERT + Softmax BERT + CRF BERT +跨度需求1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 +输入格式输入格式（首选...
BERT-BILSTM-GCN-CRF-for-NER:在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务
03-09
NER的BERT-BILSTM-GCN-CRF在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务数据格式高B-剧种B-名词腔I-剧种I-名词：OO马B-人名B-名词平I-人名I-名词所OO着O B动词扶O B动词贫O I动词小O B -名词I O-名词运行
BERT-CRF-for-Chinese-NER:使用BERT + CRF模型执行中文NER任务
05-11
BERT-CRF-for-Chinese-NER Using BERT+CRF model to do Chinese NER task 如何运行 链接: 密码: 0qtc 请从网盘链接下载bert-chinese预训练模型，放在chinese-bert文件夹下 直接python run_ner.py即可
命名实体识别（NER）（二）：BERT+CRF模型训练
一代目Jackson的博客
05-28 9056
摘要：上篇介绍了数据的标注过程，接下来就是模型的训练了，本文采用BERT+CRF模型进行训练。 wait~
NLP系列（8）三元组识别（Bert+CRF）pytorch
牧子川的博客
08-22 1833
在实体识别中：使用了Bert模型，CRF模型 在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系
BERT+CRF命名实体识别的主动学习实现，支持中英文（基于Keras）
weixin_44826203的博客
09-05 7315
命名实体识别主动学习1. 什么是主动学习2. 主动学习的指标计算3. 代码实现3.1 环境3.2 数据的格式3.3 建立tokenizer和model3.4 数据生成器和数据预处理3.5 建立数据池3.6 定义模型训练相关类和方法3.7 开启主动学习的流程 1. 什么是主动学习 2. 主动学习的指标计算 3. 代码实现 3.1 环境 这篇博客将介绍如何利用keras实现主动学习的功能。 建议使用notebook运行下面的代码，方便调试。 主要用到的工具是bert4keras。由于3090要求CUDA11.2
BERT+CRF实现中文命名实体识别（TensorFlow）
Q_M_X_D_D_的博客
06-26 1万+
本篇解读了基于BERT+CRF做中文NER这篇文章中的代码，在该篇作者的GitHub上可以下载源码：源代码。这段代码对BERT模型的实现较为简洁，删掉了谷歌源代码中我们可能用不到的部分，保留了核心部分。对于那些想要快速上手BERT的同学是非常好的学习机会，在看懂这个之后再去学习谷歌的源代码会更加轻松。 BERT-CRF模型 之前有写过BERT模型和CRF模型的详解，建议往下看之前一定要了解这两个模型的原理：结合原理和代码来理解bert模型、结合原理与代码理解BiLSTM-CRF模型（pytorch）。B
基于torch框架的bert+bilstm+crf的实体识别实战
最新发布
IT大头的博客
10-28 1133
在这里，我们定义了一个标记化函数，用于将原始文本和标签转换为标记化的文本和标签序列。我们还定义了一个填充函数，用于对序列进行填充，以便它们可以被批处理。在这里，我们使用了BERT模型和BiLSTM层来提取句子的特征，然后通过全连接层将其映射到标签空间，并使用CRF层来对标签序列进行建模。在这里，我们使用Adam优化器和交叉熵损失函数来训练模型。然后，我们使用测试集来评估模型的性能，并使用模型来预测一些新句子中的实体。在这里，我们加载了一个包含训练数据的文件，并将其转换为模型所需的格式。
Bert+BiLSTM+CRF实体抽取
qq_44193969的博客
04-07 2万+
文章目录一、环境二、模型1、BiLSTM不使用预训练字向量使用预训练字向量2、CRF 一、环境 torch==1.10.2 transformers==4.16.2 其他的缺啥装啥 二、模型 在这篇博客中，我总共使用了三种模型来训练，对比训练效果。分别是 BiLSTM BiLSTM + CRF Bert + BiLSTM + CRF 1、BiLSTM 模型大致结构 只用BiLSTM来做NER的话，实际上就是多分类，既然是多分类，那么它的损失函数就可以用交叉熵来表示。模型构建及损失计算如下： impo
BERT+CRF的损失函数的研究
studyvcmfc的专栏
08-07 1531
https://blog.csdn.net/lcomecon/article/details/108728880
BERT+CRF实现命名实体识别(NER)任务(少于100行代码)
xhsun的博客
09-16 4961
本文主要介绍一个框架nlp-basictasks nlp-basictasks是利用PyTorch深度学习框架所构建一个简单的库，旨在快速搭建模型完成一些基础的NLP任务，如分类、匹配、序列标注、语义相似度计算等。 下面利用该框架实现BERT+CRF模型做NER任务 数据集介绍 数据集来源 来源CLUE实体识别数据集 导入包 import torch,json import sys,os import pandas as pd import random import numpy as np from nl
基于BERT+CRF做中文NER
xhsun的博客
09-30 8387
本篇博客是在BERT的最初始的google版本的基础上改进，我们唯一需要修改的就是run_classifier.py 数据的形式为 下面我们一步一步的来更改： 首先是导入包并且定义参数，我们将那些关于tpu的参数都去掉， 因为我们基本上都是用gpu，而TPUEstimator在GPU上是不打印loss的，这也是为什么我们微调BERT时候只有看到最终结果，中间根本不知道训练的状况 第一部分: import collections import os import pickle from absl impor
CLUENER2020:BiLSTM \ BERT \ Roberta（+ CRF）模型的PyTorch实现，用于命名实体识别
05-25
Chinese NER Project 本项目为CLUENER2020任务baseline的代码实现，模型包括 BiLSTM-CRF BERT-base + X (softmax/CRF/BiLSTM+CRF) Roberta + X (softmax/CRF/BiLSTM+CRF) 本项目BERT-base-X部分的代码编写思路参考 ...
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
伯特·中国人 前言 ... python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
什么是仿射函数？
热门推荐
MiaLove
07-12 2万+
仿射函数（affine function）即由 1 阶多项式构成的函数，一般形式为 f(x)=Ax+bf(x)=Ax+bf(x)=Ax+b，这里，AAA 是一个 m×km×km×k 矩阵，xxx 是一个$ k$ 向量，bbb是一个 mmm 向量，实际上反映了一种从 kkk 维到 mmm 维的空间映射关系。 仿射函数实际上市降低维度的函数 ...
【项目】使用Bert+CRF完成命名实体识别项目
小马日记
06-20 1万+
说明： 1、本文对lonePatient的BERT-NER-Pytorch进行复现。仅供学习，如涉及版权请联系我删除 2、原作者github链接：https://github.com/lonePatient/BERT-NER-Pytorch 一、项目介绍 1、对文本中的金额进行自动标注 2、使用环境 PyTorch=1.1.0+ cuda=9.0 python3.5+ 3、输入数据示例: 采用BIO对数据进行标注。标注方法可以采用正则表达式或人工标注的方式。 华 O 为 O 手 O 机 O 1 B-MONE
【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别
zeiyousao的博客
07-05 2628
本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。本文的任务目标在于利用预训练的语言模型，辅助下游的英语的识别任务。主要包括四大模块：tokenizer、Bert model、classifier、CRF layer。............
统一的NER识别模型-Unified NER
yaohaishen的专栏
03-08 1704
头尾token，头尾产生联系，表示出不连续实体的头尾关系，并且和。下一个相邻词/字，表示两个字之间的关系。
NER常见的解决方案汇总(deep learning)
loveitlovelife的博客
03-12 575
NER （Named Entity Recognition）即命名实体识别。顾名思义就是识别文本当中的实体信息。举个例子，输入：张三现在在武汉市江夏区金融港输出：B-PER，E-PER，O, O，O,B-CITY，I-CITY，E-CITY，B-DISTRICT，I-DISTRICT，E-DISTRICT，B-LOCATION,I-LOCATION,-E-LOCATION其中，“张三”以PER，“武汉市”以CITY，“江夏区”以DISTRICT，“金融港”以LOCATION为实体类别分别挑了出来。
Stanford NER、Spacy能干什么，和bert+crf有什么区别
04-20
Stanford NER和Spacy是自然语言处理工具包，可以用于实体识别、关键词提取等任务。它们与BERT+CRF的差别主要在于算法的不同：Stanford NER和Spacy使用的是基于规则或统计的方法，而BERT+CRF使用的是深度学习模型。BERT+CRF相对于Stanford NER和Spacy在实体识别准确度上会有更好的表现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值