基于BERT的中文命名实体识别

最新推荐文章于 2024-06-30 16:15:00 发布
最新推荐文章于 2024-06-30 16:15:00 发布
阅读量6.9k 收藏 31
点赞数 4
分类专栏： NLP 文章标签： bert ner
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27075947/article/details/100787343
版权

导览

Bert-ChineseNER

Introduction

BERT

简要地介绍一下BERT，网上对于BERT的介绍已经满天飞了。BERT是谷歌在2018年提出的一个预训练语言模型，不同于传统的语言模型使用自回归的方式对文本进行语言模型的学习，BERT提出了一种新颖的Mask Language Model，结合谷歌在2017年提出的Transformer网络结构，对文本进行“真正”的双向建模。

Fine-tune

BERT只是一个预训练的语言模型，在各大任务上都刷新了榜单。我们本次实验的任务也是一个序列标注问题，简而言之，就是是基于BERT预训练模型，在中文NER（Named Entity Recognition，命名实体识别）任务上进行fine-tune。

Fine-tune是什么意思，中文译为微调。在transfer learning中，对事先训练好的特征抽取网络，直接拿来用在下游任务上。固定其特征抽取层的网络参数，只在原有的网络上增加少量神经元，做最后的分类任务，而且只更新分类参数。

Results

模型结果

引入bert之后，可以看到在验证集上的F-1值在训练了16个epoch时就已经达到了94.87，并在测试集上达到了

最低0.47元/天 解锁文章
Yumath
关注
  • 4
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
Bert基础(十八)--Bert实战：NER命名实体识别
Andy_shenzl的博客
04-24 2163
命名实体识别（NER）是自然语言处理（NLP）中的一项关键技术，它的目标是从文本中识别出具有特定意义或指代性强的实体，并对这些实体进行分类。这些实体通常包括人名、地名、组织机构名、日期、时间、专有名词等。NER在许多实际应用中都非常重要，如信息提取、文本挖掘、机器翻译、自动摘要等。实体的边界识别：这部分任务是要确定文本中实体的起始和结束位置，即在文本中准确地定位出实体的边界。确定实体的类型：在识别出实体的边界之后，还需要确定每个实体的具体类型，如人名、地名、机构名等。例如，在处理文本。
基于BERT的中文命名实体识别识别实战
qq_52053775的博客
05-17 1007
通过这样的机制，CRF模型在整个序列上优化所有标签的联合概率，确保不仅是单个标签的选择合理，而且整个序列的标签分配也是全局最优的，这就体现了概率转移规则在命名实体识别中的作用。对于“李华”，CRF模型会考虑“开始位置+李华->B-PER”的发射特征以及后续位置上的标签转移概率，比如从“B-PER”转移到“I-PER”或转移到其他类型如“B-LOC”的概率。对于“大学”，由于前面是“北京”，模型会高概率地分配“大学”以“I-LOC”标签，利用先前的“B-LOC”作为上下文，这是基于状态转移概率的决策。
推荐文章：探索命名实体识别新境界 —— Bert_Chinese_NER_By_Pytorch
gitblog_00088的博客
06-03 296
推荐文章：探索命名实体识别新境界 —— Bert_Chinese_NER_By_Pytorch 项目地址:https://gitcode.com/circlePi/Bert_Chinese_Ner_pytorch 在自然语言处理的浩瀚领域中，精确地从文本中抽取出人名、地点、组织机构等关键信息，是众多应用的核心需求。今天，我们向大家隆重推荐一个基于Pytorch框架实现的高效中文命名实体识别（NER...
基于BERT预训练的中文命名实体识别TensorFlow实现
热门推荐
macanv的专栏
01-03 13万+
BERT-BiLSMT-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码’ 代码已经托管到GitHub 代码传送门 大家可以去clone 下来亲自体验一下！ g...
基于bert的命名实体识别任务（一）
donruo的博客
02-23 6653
自从bert提出后，nlp领域的预训练语言模型持续刷新各种任务榜单，各种预训练语言模型不断提出并更新迭代，最新的GPT3以千亿级的参数再次刷新了榜单任务。但是在工业界，bert的预训练+微调的任务模式还是在发挥一定的作用。因此本篇博客主要介绍在tf2.x的版本下使用bert模型进行命名实体识别任务。 bert模型的原理还是先简单介绍一下，主要从一下几个方面： 一、任务目标 bert的目标是学习大量的没有标注的语料数据，进而提取出语言模型，便于下游的微调任务。在训练的过程中主要有两个任务：其一是根据上下
利用BERT进行命名实体识别(NER)
禅与计算机程序设计艺术
08-15 2232
命名实体识别 (Named Entity Recognition, NER) 是自然语言处理 (Natural Language Processing, NLP) 中的一项基础任务，旨在识别文本中代表命名实体的词语或词语序列，并将其分类到预定义的类别，例如人名、地名、机构名、时间、日期等。NER 是许多 NLP 应用的重要组成部分，例如信息提取、问答系统、机器翻译和文本摘要等。传统的 NER 方法通常依赖于手工设计的特征和领域特定的规则，这些方法需要大量的专家知识，并且难以推广到新的领域或语言。
基于BERT的命名实体识别——BERT微调初次实践
comeonfly666的博客
07-02 1820
基于BERT的命名实体识别目标任务数据集格式构造训练样本get_examplesInputExample_create_exampleget_train_examples将token和label转为id并结构化convert_single_example建立分类模型create_model训练模型评估模型 目标任务 针对提供的数据进行命名实体识别，标注出每个token对应的label。 其中label包括 BIO_token_labels = ['TREATMENT-I', 'TREATMENT-B', '
基于BERT的文本分类与命名实体识别
禅与计算机程序设计艺术
02-16 425
1.背景介绍 在自然语言处理（NLP）领域，文本分类和命名实体识别是两个重要的任务。文本分类是将文本分配到一个或多个已定义的类别中，而命名实体识别则是识别文本中的实体，如人名、地名、组织名等。这两个任务在许多实际应用中都有广泛的应用，如情感分析、新闻分类、信息提取等。 近年来，随着深度学习的发展，Transformer模型和BERT模型在
基于transformers框架实践Bert系列2--命名实体识别
代码还是得自己扣
05-17 1174
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、机器阅读、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解命名实体识别应用场景。
基于bert的中文实体识别
mohen_777的博客
06-30 907
BERT是由Google提出的一种预训练语言模型，其核心思想是通过大规模无监督学习从文本数据中学习通用的语言表示。BERT的预训练过程包括两个阶段：Masked Language Model（MLM）和Next Sentence Prediction（NSP），通过这些任务学习句子中各个位置的语境化表示。
人工智能NER作业-基于bert实现命名实体识别python源码+数据+实验报告.zip
05-23
人工智能NER作业-基于bert实现命名实体识别python源码+数据+实验报告.zip个人经导师指导并认可通过的高分设计项目，评审分98分。主要针对计算机相关专业的正在做课设的学生和需要项目实战练习的学习者，可作为课程...
基于Bert+BiLSTM+CRF的中文命名实体识别
05-21
**基于BERT+BiLSTM+CRF的中文命名实体识别** 命名实体识别（NER）是自然语言处理领域的一个重要任务，其目标是从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在中文文本中，由于汉字的复杂性和语义的...
BERT-CH-NER：基于BERT的中文命名实体识别
02-03
基于BERT的中文数据集下的命名实体识别（NER） 基于tensorflow官方代码修改。 环境 Tensorflow：1.13 的Python：3.6 tensorflow2.0会报错。 搜狐比赛 在搜狐这个文本比赛中写了一个基准，使用了bert以及bert + ...
基于BERT+BiLSTM+CRF实现中文命名实体识别
05-20
1、目录结构 data: 训练数据集 models: 构造的模型 ...创建bert_model路径，将预训练好的bert模型放到这个路径下解压 具体结构如下： python3 run.py --mode xxx xxx: train/test/demo，默认为demo
基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip
04-11
基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目...
基于JAVA的厨艺交流平台（Vue.js+SpringBoot+MySQL）
08-01
基于Vue.js和SpringBoot的厨艺交流平台是一个功能丰富的在线社区，旨在为烹饪爱好者提供一个分享和学习烹饪技巧的平台。该平台分为管理后台和用户网页端，支持管理员和普通用户两种角色。管理后台提供对菜谱分类、菜谱信息、食材信息、商品信息和美食日志模块的全面管理功能，包括添加、编辑、删除和查询等操作。用户网页端则为用户提供了一个友好的界面，可以浏览和搜索各种菜谱，查看食材和商品信息，发表自己的美食日志，与其他用户互动交流。整个平台采用现代化的前端技术和后端框架，保证了良好的用户体验和高效的数据处理能力。 演示录屏：https://www.bilibili.com/video/BV1uz42197zu 配套教程：https://www.bilibili.com/video/BV1pW4y1P7GR
层次分析法数学建模论文.doc
最新发布
08-01
层次分析法数学建模论文
操作系统原理试卷及参考答案(A).doc
08-01
操作系统原理试卷及参考答案(A)
基于bert的命名实体识别python代码
04-02
以下是一个基于BERT的命名实体识别Python代码示例： 首先，需要安装相应的库，包括torch、transformers和nltk： ``` !pip install torch !pip install transformers !pip install nltk ``` 然后，导入所需的库： ``` import torch from transformers import BertTokenizer, BertForTokenClassification import nltk nltk.download('punkt') from nltk.tokenize import word_tokenize ``` 接下来，加载预训练的BERT模型和tokenizer： ``` model = BertForTokenClassification.from_pretrained('bert-base-cased', num_labels=9) tokenizer = BertTokenizer.from_pretrained('bert-base-cased') ``` 在这里，我们使用了一个预训练的BERT模型（bert-base-cased），该模型具有104万个参数，并在大型文本语料库上进行了训练。模型的tokenizer也使用了相同的语料库。 然后，定义一个函数来执行命名实体识别： ``` def ner(text): # 标记化文本 tokenized_text = word_tokenize(text) # 应用BERT tokenizer input_ids = torch.tensor([tokenizer.encode(tokenized_text, add_special_tokens=True)]) # 对于BERT，我们需要将输入标记的标记位置（mask）设置为1 attention_mask = torch.ones(input_ids.shape) # 预测标记（实体类别） with torch.no_grad(): output = model(input_ids, attention_mask=attention_mask) # 获取预测标记的索引 predicted_tokens = torch.argmax(output[0], dim=2) # 将标记转换为实体类别 tags = [] for i in predicted_tokens[0]: tags.append(model.config.id2label[i.item()]) # 将标记和实体类别组合成元组 entities = [] for i in range(len(tokenized_text)): if tags[i] != 'O': entities.append((tokenized_text[i], tags[i])) return entities ``` 该函数接受一个字符串作为输入，并将其标记化为单词。然后，使用BERT tokenizer将单词转换为输入ID。对于BERT，我们还需要创建一个用于标记输入标记位置的注意力掩码。然后，我们使用预训练的BERT模型来预测每个标记的实体类别。最后，我们将标记和实体类别组合成元组，并将其作为输出返回。 现在，我们可以使用该函数来识别给定文本中的命名实体。例如： ``` text = "J.K. Rowling is the author of the Harry Potter series." entities = ner(text) print(entities) ``` 该代码将输出以下内容： ``` [('J.K.', 'B-PERSON'), ('Rowling', 'I-PERSON'), ('Harry', 'B-PRODUCT'), ('Potter', 'I-PRODUCT')] ``` 该输出表示在给定文本中找到了4个实体，其中2个是人名，2个是产品名称。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值