中文命名实体识别NER：FLAT

最新推荐文章于 2024-04-11 17:50:18 发布
最新推荐文章于 2024-04-11 17:50:18 发布
阅读量1.1k 收藏 8
点赞数 1
分类专栏： 自然语言处理NLP 文章标签： 中文实体识别 NER Transformer FLAT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woniu201411/article/details/118183802
版权

目录

一、模型结构

1、位置编码

2、基于相对位置编码的self-attention

3、Feed Forward Neural Network

二、损失函数

 来自ACL2020复旦大学邱锡鹏老师团队的NER领域又一力作：FLAT: Chinese NER Using Flat-Lattice Transformer.

本文在Lattice LSTM(ACL 2018)的基础上作出了两方面的改进：

  • 作者提出了一种将Lattice图结构无损转换为扁平的Flat结构的方法，并将LSTM替换为了更先进的Transformer Encoder，该方法不仅弥补了Lattice LSTM无法「并行计算」(batchsize=1)的缺陷，而且更好地建模了序列的「长期依赖关系」；

  • 作者提出了一种针对Flat结构的「相对位置编码机制」，使得字符与词汇得到了更充分更直接的信息交互，在基于词典的中文NER模型中取得了SOTA。

一、模型结构

1、位置编码

FLAT给每一个token/span(字、词)增加了两个位置编码，分别表示该span在sentence中开始(head)和结束(tail)的位置，对于字来说，head position和tail positio

最低0.47元/天 解锁文章
辰星M
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
命名实体识别(NER)：自动识别文本中的关键信息
AI架构设计之禅
05-04 518
1. 背景介绍 1.1 自然语言处理 (NLP) 和信息提取 自然语言处理 (NLP) 是人工智能的一个重要分支，旨在让计算机理解和处理人类语言。信息提取是 NLP 的一个重要任务，其目标是从非结构化文本中提取结构化信息。命名实体识别 (NER) 是信息提取的关键步骤之一，其任务是识
NLP-信息抽取-NER-2015-BiLSTM+CRF（二）：损失函数【BiLSTM+CRF模型适用于：中文分词、词性标注、命名实体识别】
u013250861的博客
01-30 3207
中文分词、命名实体识别、词性标注是自然语言理解中，基础性的工作，同时也是非常重要的工作。 在很多NLP的项目中，工作开始之前都要经过这三者中的一到多项工作的处理。 在深度学习中，有一种模型可以同时胜任这三种工作，而且效果还很不错，那就是：BiLSTM_CRF。 BiLSTM指的是双向LSTM； CRF指的是条件随机场。 以命名实体识别为例，我们规定： 在数据集中有两类实体，人名和组织机构名称。 在数据集中总共有5类标签： B-Person （人名的开始部分） I- Person （人名的中间部分）
FLAT：又快又好的中文命名实体识别模型
zenRRan的博客
03-22 1286
每天给你送来NLP技术干货！来自：揣摩研习社导读概览 近年来，引入字-词构成的Lattice信息被证明可以有效提升中文实体识别方法的性能。然而，由于Lattice结构的复杂性和动态性，基于Lattice的模型难以充分利用 GRU 的并行计算能力，推理速度较慢。因此，本文提出了一种基于Transformer的词典增强的中文实体识别模型FLAT。首先，FLAT...
BiLSTM上的CRF，用命名实体识别任务来解释CRF（2）损失函数
hwaust2020的博客
06-06 1211
文章目录回顾2. CRF层2.1 Emission得分2.2 Transition得分2.3 CRF损失函数2.4 实际路径得分2.5 所有可能的路径的得分附言 转载来源：CreateMoMo 今天是第二部分，给大家推导一下CRF的损失函数如何计算，思路很清楚。 回顾 在前一节中，我们知道CRF层可以从训练数据集中学习一些约束，以确保最终预测的实体标签序列是有效的。 约束条件可以是: 句子中第一个单词的标签应该以“B-”或“O”开头，而不是“I-” “B-label1 I-label2 I-label
命名实体识别（基于规则-无监督学习-机器学习-深度学习）
热门推荐
weiyaner的博客
11-12 1万+
文章目录1 简介2 NER标注语料库3 NER工具库4 序列标注标签方案5 四类NER方法（规则-无监督学习-机器学习-深度学习）5.1 基于规则的NER5.2 基于无监督学习方法5.2 基于机器学习（含特征的有监督学习）基于深度学习方法**1、输入层****2、编码层**3、解码层6 其他实体识别任务中的常见问题及对策各类研究方向的NER方法NER任务的挑战与机遇Reference 1 简介   命名实体识别（Named Entity Recongnition，NER）是自然语言处理中的一个基础任务，也是
命名实体识别
Hekena的博客
08-08 1208
XBRL是针对金融数据集中的数字等实体进行标注，实体类型种类较多，在FiNer中，涵盖了139个type。文章给出的解释是，中文不类似于英文以空格来分词，中文没有明显的分词标志，所以提出了一种用于中文NER的方法。具体来说，给定一个被注释的实体，一部分概率被分配给其周围的跨度，而剩余的概率1-被分配给最初被注释的跨度。不在考虑使用硬边界（确定性实体边界，非0即1），二是软边界（边界周围也可能是实体所在，不确定性更强）。在识别type=c的实体时，还有一个wj-i向量，需要学习，可能表示的span长度信息。.
MSRA-NER 中文命名实体识别
04-09
《MSRA-NER：中文命名实体识别深度解析》 命名实体识别（Named Entity Recognition, NER）是自然语言处理（NLP）领域的一个关键任务，它涉及到从文本中抽取出具有特定意义的实体，如人名、地名、机构名等。在中文...
中文命名实体识别ner数据_resume_bio格式
10-25
"中文命名实体识别ner数据_resume_bio格式"指的是一个专门针对中文NER的数据集，其数据格式遵循了BIO标注体系。 BIO标注体系是一种常见的用于NER任务的数据标注方式，全称为“Beginning Inside Outside”。在这个...
BIO 命名实体识别 NER语料集.rar
08-31
《BIO 命名实体识别 NER语料集》是一个专门用于训练和评估命名实体识别（NER）模型的数据集。在自然语言处理领域，命名实体识别是一项关键任务，其目的是从文本中抽取出具有特定意义的实体，如人名、地名、组织机构...
ResumeNER_resume_命名实体识别_ner_
10-04
《简历NER：简历中的命名实体识别技术》 在信息技术领域，特别是自然语言处理（NLP）部分，命名实体识别（NER）是一项至关重要的任务。它涉及到从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在本...
NER命名实体识别任务：Boson 数据集
最新发布
06-26
Boson数据集是玻森数据提供的命名实体识别数据，标注形式为BMEO，共有2000条语料。
【Bert】（十六）命名实体识别--方法介绍
mjiansun的专栏
03-11 218
https://blog.csdn.net/u013963380/article/details/108170686 https://blog.csdn.net/u013963380/article/details/108695977 https://blog.csdn.net/u013963380/article/details/108696552 https://blog.csdn.net/u013963380/article/details/109270714
【NLP】实体识别BERT-MRC论文阅读笔记
fengdu78的博客
06-16 984
写在前面NER（命名实体识别）通常可以分为nested NER（嵌套命名实体识别）及flat NER（非嵌套命名实体识别）。在flat NER上常用的序列标注模型通常不适用于nested NER，为了将两个任务用一套统一框架处理，BERT-MRC从MRC（机器阅读理解）角度建模实体识别任务。简单地说，BERT-MRC将实体类别相关的先验信息（比如实体类别描述）构建为一个问...
spaCy V3.0 基于规则匹配(4)----举例说明基于规则与基于统计模型组件的组合命名实体识别NER
u014607067的博客
03-05 1125
可以通过多种方式组合基于统计模型和基于规则的组件。基于规则的组件可以通过为特定词符(Tokens)预先标记词性、命名实体或句子边界来提高统计模型的准确性。统计模型通常会采用这些预设标记，来提高其他判定的准确性。也可以在统计模型之后使用基于规则的组件来更正常见错误。最后，基于规则的组件可以引用统计模型设置的属性，以实现更抽象的匹配逻辑。 例1： 扩充命名实体 当使用经过预训练的命名实体识别模型从文本中提取信息时，可能会发现预测的span仅包括你想要查找实体的一部分。发生这种问题，一种情况是，统计模型错误地.
​复旦大学邱锡鹏组：CNN-NER——极其简单有效的嵌套命名实体识别方法
Paper weekly
09-18 2879
©PaperWeekly 原创 ·作者 | 陆星宇单位 | 复旦大学研究方向 | 自然语言处理本文介绍一下复旦大学 NLP 组的一篇新的 NER 论文。论文标题：An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition论文链接：https://arxiv.org/abs/2208.04534问题简...
NER(命名实体识别)之FLAT详解
wshzd的博客
04-29 1816
paper：https://arxiv.org/pdf/2004.11795.pdf code：https://github.com/LeeSureman/Flat- Lattice-Transformer 前言 本文继续之前的NER词汇增强方式，介绍一下复旦邱锡鹏的佳作FLAT，之前介绍的基于Lattice结构的NER模型（比如Lattice LSTM、LR-CNN）动态引入词汇信息，避免了分词错误带来的级联误差，取得了当时的SOTA效果。然而基于RNN或者CNN的模型都存在一些天...
命名实体识别模型FLAT介绍
weixin_40566713的博客
04-11 819
在「Inc.」前的单词更可能的实体类型是「ORG」，在「in」后的单词更可能为时间或地点。ACL2020中的 Simplify the Usage of Lexicon in Chinese NER[1] 就属于这一范式，仅仅在embedding层融合词汇信息，对于词汇信息的引入更加简单有效，采取静态加权的方法可以提前离线计算。设计相应结构以融入词汇信息 Lattice LSTM 开篇之作，设计兼容的LSTM将词汇信息引入中文NER任务 推断效率低，无法捕捉长距离依赖，存在一定的信息损失问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值