命名实体识别模型FLAT介绍

已于 2024-05-31 10:32:24 修改
阅读量819 收藏 32
点赞数 28
分类专栏： NLP 文章标签： 自然语言处理 bert
于 2024-04-11 17:50:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40566713/article/details/137646988
版权

FLAT: Chinese NER using flat-lattice transformer
Li X, Yan H, Qiu X, et al. FLAT: Chinese NER using flat-lattice transformer[J]. arXiv preprint arXiv:2004.11795, 2020.
Lex-BERT: Enhancing BERT based NER with lexicons
Zhu W, Cheung D. Lex-BERT: Enhancing BERT based NER with lexicons[J]. arXiv preprint arXiv:2101.00396, 2021.

为解决计算效率低下、引入词汇信息有损的这两个问题，FLAT基于Transformer结构进行了两大改进。
改进1：Flat-Lattice Transformer, 无损引入词汇信息。
改进2：相对位置编码。

一、中文ner为什么要引入词汇信息？

不同于英文NER，中文NER通常以字符为单位进行序列标注建模。这主要是由于中文分词存在误差，导致基于字符通常要好于基于词汇（经过分词）的序列标注建模方法。
那中文NER是不是就不需要词汇信息呢？答案当然是否定的。引入词汇信息的好处在于：
第一，强化实体边界，特别是对于span较长的实体边界更加有效。
第二，数据增强方式。对于NLP分类任务增益明显的数据增强方法，往往不能直接应用于NER任务，并且指标增益也极为有限。相反，引入词汇信息的增强方式对于小样本下的中文NER增益明显。
引入词汇信息增强中文NER性能的方法称为词汇增强。

二、词汇增强的方式有哪些？

词向量&词汇列表：利用一个具备良好分词结果的词向量；异或者不再利用词向量，仅利用词汇或者实体边界信息，通常可通过图网络提取相关信息。两大范式：

2.1 第种一范式：Dynamic Architecture

设计一个动态抽取框架，能够兼容词汇输入；本文所介绍的FLAT就属于这一范式。设计相应结构以融入词汇信息。

Lattice LSTM：开篇之作，设计兼容的LSTM将词汇信息引入中文NER任务；
LR-CNN：采取CNN进行堆叠编码，采取rethink机制解决词汇冲突问题；

2.2 第二种范式：Adaptive Embedding

基于词汇信息，构建自适应Embedding；与模型框架无关。ACL2020中的 Simplify the Usage of Lexicon in Chinese NER[1] 就属于这一范式，仅仅在embedding层融合词汇信息，对于词汇信息的引入更加简单有效，采取静态加权的方法可以提前离线计算。
分词器：单一的分词器会造成边界错误，可以引入多源分词器并pooling不同分词结果。ACL2020中有篇处理中文预训练的文章[2]就将多种分词结果中词汇信息pooling对齐到字符编码中。

词汇增强范式 方法 特点 存在问题
Dynamic
设计相应结构以融入词汇信息 Lattice LSTM 开篇之作，设计兼容的LSTM将词汇信息引入中文NER任务 推断效率低，无法捕捉长距离依赖，存在一定的信息损失问题。
LR-CNN 采取CNN进行堆叠编码，采取rethink机制解决词汇冲突问题
CGN 构建给予协作的图网络（GAN），充分利用词汇信息 将NER任务转化为node分类任务，但需要RNN作为底层编码器来捕捉顺序性，结构复杂。
LGN 构建局部和全局聚合的图网络，充分利用词汇信息
FLAT 通过设计位置向量引入词汇信息，利用transformer捕捉长距离依赖、提高推断效率。
Adaptive Embedding
模型无关，具备可迁移性 WC-LSTM 通过四种encoding策略对Lattice LSTM输入静态编码 存在信息损失，仍然采取LSTM进行编码
Multi-digraph 引入实体词典，通过多图结构更好地显示建模字符和词典的交互
Simple-Lexicon 通过self-lexicon方法引入词汇信息，简单直接

在这里插入图片描述

各大顶会中词汇增强NER的主要进展:
在这里插入图片描述

三、Lattice LSTM

针对中文NER任务引入词汇信息的开篇之作。文中提出了一种Lattice LSTM用于融合词汇信息。当我们通过词汇信息（词典）匹配一个句子时，可以获得一个类似Lattice的结构。
在这里插入图片描述

Lattice是一个有向无环图，词汇的开始和结束字符决定了格子位置。Lattice LSTM结构则融合了词汇信息到原生的LSTM中：
在这里插入图片描述

当前字符有词汇融入时，则采取上述公式进行计算；如当前字符没有词汇时，则采取原生的LSTM进行计算。
虽然Lattice LSTM有效提升了NER性能，但也存在一些缺点：
（1）信息损失
每个字符只能获取以它为结尾的词汇信息。如对于「药」，无法获得inside的「人和药店」信息。
由于RNN特性，采取BiLSTM时其前向和后向的词汇信息不能共享。
Lattice LSTM并没有利用前一时刻的记忆向量，即不保留对词汇信息的持续记忆。
（2）计算性能低下，不能batch并行化
主要是每个字符之间的增加wordcell（看作节点）数目不一致；
（3）可迁移性差
只适配于LSTM，不具备向其他网络迁移的特性。
总结：Lattice-LSTM采取的RNN结构无法捕捉长距离依赖，同时引入词汇信息是有损的，同时动态的Lattice结构也不能充分进行GPU并行。

四、FLAT

为解决计算效率低下、引入词汇信息有损的这两个问题，FLAT基于Transformer结构进行了两大改进。
改进1：Flat-Lattice Transformer, 无损引入词汇信息。
改进2：相对位置编码。

4.1 改进1：Flat-Lattice Transformer, 无损引入词汇信息。

在这里插入图片描述

Transformer采取全连接的自注意力机制可以很好捕捉长距离依赖，由于自注意力机制对位置是无偏的，因此Transformer引入位置向量来保持位置信息。

受到位置向量表征的启发，FLAT设计了一种巧妙position encoding来融合Lattice结构。
对于每一个字符和词汇都构建两个head position encoding和tail position encoding,这种方式可以重构原有的Lattice结构。

因此，FLAT可以直接建模字符与所有匹配的词汇信息间的交互。例如，字符「药」可以匹配词汇「人和药店」和「药店」。

将Lattice结构展平，将其从一个有向无环图展平为一个平面的Flat-Lattice Transformer结构，由多个span构成：每个字符的head和tail是相同的，每个词汇的head和tail是skipped的。（结构变得简单）

在这里插入图片描述

4.2 改进2：相对位置编码

BiLSTM在NER任务上的成功，一个关键就是BiLSTM能够区分其上下文信息的方向性，来自左边还是右边。而对于Transformer，其区分上下文信息的方向性是困难的。因此，要想解决Transformer对于NER任务表现不佳的问题，必须提升Transformer的位置感知和方向感知。

相对位置编码提升Transformer的位置感知和方向感知，让Transformer适用NER任务。

FLAT使用了两个位置编码（head position encoding 和 tail position encoding），那么是否可以采用绝对位置编码呢？同样来自邱锡鹏老师组的论文TENER: Adapting Transformer Encoder for Named Entity Recognition [7]给出答案：原生Transformer中的绝对位置编码并不直接适用于NER任务。

原生Transformer的绝对位置编码本身缺乏方向性，虽然具备距离感知，但还是被self-attention机制打破了。

TENER：对于NER任务来说，位置和方向信息是十分重要的。在「Inc.」前的单词更可能的实体类型是「ORG」，在「in」后的单词更可能为时间或地点。而对于方向性的感知会帮助单词识别其邻居是否构成一个连续的实体Span。可见，对于「距离」和「方向性」的感知对于Transformer适用于NER任务至关重要。
（前面一般是什么词，后面一般又是什么词）
在这里插入图片描述

五、FLAT相对位置编码

5.1 Transformer self-attention 计算

在这里插入图片描述

其中E是token的向量表，是可学习参数，是每个头的维度。

5.2 Transformer xl sel-attention计算

1）绝对位置编码
vanilla Trm计算attention的方式，表示token的输入embedding，是绝对位置编码embedding，两个W分别是query矩阵和key矩阵。下面的公式是对在这里插入图片描述
做了分解。

在这里插入图片描述

2）相对位置编码
在这里插入图片描述

Dai Z, Yang Z, Yang Y, et al. Transformer-xl: Attentive language models beyond a fixed-length context[J]. arXiv preprint arXiv:1901.02860, 2019.

5.3 Flat-bert相对位置编码

第一步，计算各个词之间的位置关系；
在这里插入图片描述

位置关系：相交、包含、相离。

第二步，计算相对位置；
在这里插入图片描述
在这里插入图片描述

第三步，计算attention；
在这里插入图片描述

用A*替换transformer self-attention中的A。
其中，黄色标注的均为可学习参数，绿色为相对位置编码，E为文本编码。
Xi,xj为同一句话中不同的两个词。
在FLAT之后，模型只会将字符的表示输入输出层，也就是CRF层。

六、源码阅读

1、使用fastNLP和pytorch实现

官方代码：https://github.com/LeeSureman/Flat-Lattice-Transformer
简化代码：https://github.com/orangetwo/BERT-FLAT.git

2、模型输入

1）char:使用bert embedding；
2）lattice(Char+lexicon):如果有外部预训练则使用，如果没有则随机初始化；
3）bigram: 如果有外部预训练则使用，如果没有则随机初始化；
4）position_start: Lattice的开始位置；
4）position_end: Lattice的结束位置。
3、难点：位置编码，矩阵变换。
在这里插入图片描述

注意：代码中的A为第一项，C为第三项，B为第二项，D为第四项。

七、实验

在这里插入图片描述

八、参考

Sophie'sCookingLab
关注
  • 28
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
中文命名实体识别NER：FLAT
woniu201411的博客
06-28 1184
来自ACL2020复旦大学邱锡鹏老师团队的NER领域又一力作：FLAT: Chinese NER Using Flat-Lattice Transformer. 本文在Lattice LSTM(ACL 2018)的基础上作出了两方面的改进： 作者提出了一种将Lattice图结构无损转换为扁平的Flat结构的方法，并将LSTM替换为了更先进的Transformer Encoder，该方法不仅弥补了Lattice LSTM无法「并行计算」(batchsize=1)的缺陷，而且更好地建模了序列的「长期依赖
论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer
hongguoya的博客
08-11 929
系列文章目录 提示：这是第一篇，以后再添加 FLAT: Chinese NER Using Flat-Lattice Transformer系列文章目录前言一、基础概念二、 前言 本论文相关工作被ACL2020会议接收。 近年来，将词典信息加入模型被证明对中文命名实体识别任务很有效。但是结合词典的方法通常会使输入变为一个动态的结构，模型需要在运行时动态改别结构来表征输入，导致无法有效利用GPU的并行计算，运行速度缓慢。因此提出了FLAT模型，在Transformer的基础上，采用一个特殊的位
NER(命名体识别)之 FLAT模型
lq_fly_pig的博客
07-31 1776
Lattice-LSTM是中文NER引入外部知识的开篇之作，具体的操作如下首先是通过词典进行匹配，找出query中的词汇，“重庆人和药店”，匹配的词汇，重庆、药店、人和药店Lattice是一个有向无环图(DAG)，LatticeLSTM则将序列中的词汇信息(word-level)即词语的信息会融入到该词语对应的最后一个字的序列信息中。LatticeLSTM引入了一个wordcell结构，对于当前字符，融合以该字符结束的所有word信息若当前字符没有词汇引入时，则采取原生的LSTM进行计算。...
FLAT：又快又好的中文命名实体识别模型
zenRRan的博客
03-22 1286
每天给你送来NLP技术干货！来自：揣摩研习社导读概览 近年来，引入字-词构成的Lattice信息被证明可以有效提升中文实体识别方法的性能。然而，由于Lattice结构的复杂性和动态性，基于Lattice的模型难以充分利用 GRU 的并行计算能力，推理速度较慢。因此，本文提出了一种基于Transformer的词典增强的中文实体识别模型FLAT。首先，FLAT...
学术加油站｜FLAT，一个轻量且高效的基数估计模型
OceanBase分布式数据库的博客
10-31 833
本文提出了一个基于 SPN 的改进模型 —— FSPN，一个轻量且高效的无监督图模型。它最大的亮点在于可以灵活根据属性列之间不同的依赖程度 ( 独立，弱相关，强相关 )，综合利用独立因子分解和条件因子分解的思路进行建模，同时保证了系统的准确性和时效性。不同场景下的对比实验均验证了 FSPN 模型的高效性和稳定性，相信该模型在未来能够在数据库相关的工作中充当更加重要的角色。
NER(命名实体识别)之FLAT详解
wshzd的博客
04-29 1816
paper：https://arxiv.org/pdf/2004.11795.pdf code：https://github.com/LeeSureman/Flat- Lattice-Transformer 前言 本文继续之前的NER词汇增强方式，介绍一下复旦邱锡鹏的佳作FLAT，之前介绍的基于Lattice结构的NER模型（比如Lattice LSTM、LR-CNN）动态引入词汇信息，避免了分词错误带来的级联误差，取得了当时的SOTA效果。然而基于RNN或者CNN的模型都存在一些天...
糖尿病领域命名实体识别模型
10-16
提出的双层 Bi-LSTM-CRF 命名实体识别模型，在小规模的糖尿病领域实体识别数据集上已经取得了较好的识别准确率，但是模型在大规模数据集上未做相关实验，未来会进一步提升模型的性能，并将改进后的模型应用于大规模...
命名实体识别v命名实体识别
02-28
"命名实体识别测试精简版.ipynb"可能是一个简化版的测试集，用于快速验证模型效果，而"网上的 lstm+crf.ipynb"可能是基于网络上公开的LSTM-CRF模型进行的改进或复现。 "datasets"可能包含用于训练和测试模型的数据...
【BERT系列】——命名实体识别
01-07
本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：...
Davlan/bert-base-multilingual-cased-ner-hrl NER命名实体识别模型
07-25
《Davlan/bert-base-multilingual-cased-ner-hrl：多语言命名实体识别的深度学习模型》 在自然语言处理（NLP）领域，命名实体识别（NER）是一项重要的任务，它涉及到从文本中识别出具有特定意义的实体，如人名、...
命名实体识别数据集.rar
11-03
该数据集是用于命名实体识别训练模型的数据集，该数据集中包含6中标签，分别是人名、地名、时间、组织机构名、公司名、产品名。遵循BIO编码。里面有三个文件，分别是训练集，测试集，验证集。样例如下： 以 O 及 O ...
【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别
zeiyousao的博客
07-05 2786
本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。本文的任务目标在于利用预训练的语言模型，辅助下游的英语的识别任务。主要包括四大模块：tokenizer、Bert model、classifier、CRF layer。............
论文阅读笔记-FLAT: Chinese NER using Flat-Lattice Transformer
m0_53292725的博客
03-22 1906
论文地址：https://arxiv.org/pdf/2004.11795.pdf github地址：https://github.com/LeeSureman/Flat-Lattice-Transformer 再给大家推一个作者本人的讲解视频 讲的特别透彻【AI TIME PhD】结合词典的中文命名实体识别-李孝男_哔哩哔哩_bilibili 还是先把论文过一遍吧 这篇论文里面可能会涉及到Lattice LSTM的内容 这篇论文后续也会仔细研究的 ok Abstract 工作中提出，命名实.
flat渲染模式及修改纹理坐标
csmqq的专栏
05-05 913
在研究论文的渲染任务中，经常需要展示网格本身的表面属性，而非
flat型网络
jason的笔记
10-12 7699
我这边采用三台机器部署openstack 可以看到已经存在一个flat型的网络，flat型网络一般独占一个物理网卡 在controller 机器上看到是flat是配置成external 在network机器上，可以看到flat网络对应的网桥是br-ex 通过ovs-vsctl show。可以看到br-ex网桥
【Nova】nova-network网络模型之flat网络
疯哥哥带你飞
07-21 1347
nova-network是Nova组件中的网络服务，用于接收和处理网络相关的任务。 在multi_host的情况下, 每个计算节点都需要运行nova-network服务，它也是作为rpc server来对外提供RpcAPI的。 nova-network支持3种网络模型，flat/flatdhcp/vlan，与之对应有3种网络管理器FlatManager、FlatDHCPManager，
Flat-Lattice-Transformer模型源码测试
小乖的崽崽的地盘
12-02 4469
Flat-Lattice-Transformer模型github源码测试
简单对比Flat, Gouraud & Phong shading
ryan_qmz的博客
11-16 3523
1. Flat shading: 根据表面法向量计算光照，并应用到整个面片上；速度最快，效果最差，容易暴露物体的多边形本质； 2. Phong shading:注意与Phong反射模型（Phong reflection model）区分开； 根据顶点的法向量插值计算出表面法向量，再逐像素计算光照；速度最慢，但效果最好； 3. Gouraud shading: 根据顶点
【Nova】nova-network网络模型之flatdhcp网络
疯哥哥带你飞
07-22 592
之前有学习过flat网络，发现作用很小，基本只能对虚拟机实例的一些网络信息进行管理。网桥需要自己建，网络规则需要自己配置，以至于浮动ip也不能自行创建分配。 为了解决这些问题，引入了flatdhcp网络。顾名思义，它也是一个扁平网络，和flat类似，所有虚拟机实例处于同一个或多个虚拟网络中(注:其实我们可以创建多个虚拟网络，但是服务器的一个网卡通常只能用于创建一个虚拟网络，然后可以创建的虚拟网络
大规模命名实体识别模型
最新发布
03-12
大规模命名实体识别模型是一种用于自然语言处理的模型，旨在从文本中识别和分类命名实体，如人名、地名、组织机构等。这些模型通常基于深度学习技术，具有较高的准确性和泛化能力。 其中，一种常见的大规模命名实体识别模型是BERT（Bidirectional Encoder Representations from Transformers）。BERT是由Google开发的预训练语言模型，通过在大规模文本语料上进行无监督训练，学习到了丰富的语义表示。在命名实体识别任务中，可以将BERT作为特征提取器，将输入文本转化为向量表示，并通过添加适当的分类层来进行实体分类。 除了BERT，还有其他一些常用的大规模命名实体识别模型，如GPT（Generative Pre-trained Transformer）、RoBERTa（A Robustly Optimized BERT Pretraining Approach）等。这些模型在预训练阶段通过大规模无监督学习获取语言表示，然后在特定任务上进行微调，以实现更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值