五分钟搭建一个基于BERT的NER模型

最新推荐文章于 2024-08-09 08:21:36 发布
最新推荐文章于 2024-08-09 08:21:36 发布
阅读量471 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kyle1314608/article/details/100595511
版权

BERT 简介

BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。BERT在做下游的有监督nlp任务时就像一个做了充足预习的学生去上课，那效果肯定事半功倍。之前的word2vec，glove等Word Embedding技术也是通过无监督的训练让模型预先掌握了一些基础的语言知识，但是word embeding技术无论从预训练的模型复杂度(可以理解成学习的能力)，以及无监督学习的任务难度都无法和BERT相比。

模型部分

首先BERT模型采用的是12层或者24层的双向的Transformer的Encoder作为特征提取器，如下图所示。要知道在nlp领域，特征提取能力方面的排序大致是Transformer>RNN>CNN。对Transformer不了解的同学可以看看笔者之前的这篇文章，而且一用就是12层，将nlp真正的往深度的方向推进了一大步。

 
bert base

 

预训练任务方面

BERT 为了让模型能够比较好的掌握自然语言方面的知识，提出了下面两种预训练的任务：
1.遮盖词的预测任务（mask word prediction），如下图所示：
将输入文本中15%的token随机遮盖，然后输入给模型，最终希望模型能够输出遮盖的词是什么，这就是让模型在做完形填空啊，而且还是选项的可能是所有词的完形填空，想想我们经常考试时做完形填空，给你四个选项你都不一定能够做对，这个任务可以让模型学到很多语法，甚至语义方面的知识。

 
mask word prediction

2.下一个句子预测任务（next sentence prediction）
下一个句子预测任务如下图所示：给模型输入A，B两个句子，让模型判断B句子是否是A句子的下一句。这个任务是希望模型能够学到句子间的关系，更近一步的加强模型对自然语言的理解。
 
next sentence prediction

这两个颇具难度的预训练任务，让模型在预训练阶段就对自然语言有了比较深入的学习和认知，而这些知识对下游的nlp任务有着巨大的帮助。当然，想要模型通过预训练掌握知识，我们需要花费大量的语料，大量的计算资源和大量的时间。但是训练一遍就可以一直使用，这种一劳永逸的工作，依然很值得去做一做。

 

BERT的NER实战

这里笔者先介绍一下kashgari这个框架，此框架的github链接在这,封装这个框架的作者希望大家能够很方便的调用一些NLP领域高大上的技术，快速的进行一些实验。kashgari封装了BERT embedingg模型，LSTM-CRF实体识别模型，还有一些经典的文本分类的网络模型。这里笔者就是利用这个框架五分钟在自己的数据集上完成了基于BERT的NER实战。

数据读入
with open("train_data","rb") as f: data = f.read().decode("utf-8") train_data = data.split("\n\n") train_data = [token.split("\n") for token in train_data] train_data = [[j.split() for j in i ] for i in train_data] train_data.pop()
数据预处理
train_x = [[token[0] for token in sen] for sen in train_data]
train_y = [[token[1] for token in sen] for sen in train_data]

这里 train_x和 train_y都是一个list，
train_x: [[char_seq1],[char_seq2],[char_seq3],..... ]
train_y:[[label_seq1],[label_seq2],[label_seq3],..... ]
其中 char_seq1:["我"，"爱"，"荆"，"州"]
对应的的label_seq1:["O"，"O"，"B_LOC"，"I_LOC"]
数据预处理成一个字对应一个label就可以了，是不是很方便。kashgari已经封装了数据数值化，向量化的模块了，所以你已经不用操心文本和label的数值化问题了。这里要强调一下，由于google开源的BERT中文预训练模型采用的是字符级别的输入，所以数据预处理部分只能将文本处理成字符。

载入BERT

只需通过下面三行就可以轻易的加载BERT模型。

from kashgari.embeddings import BERTEmbedding
from kashgari.tasks.seq_labeling import BLSTMCRFModel embedding = BERTEmbedding("bert-base-chinese", 200)

运行后，代码会自动到BERT模型储存的地方下载预训练模型的参数，这里谷歌已经帮我们预训练好BERT模型了，所以我们只需要用它做下游任务即可。


 
download_bert_chinese
搭建模型并训练

使用kashgari封装的LSTM+CRF模型，将数据喂给模型，同时设置好batch-size,就可以训练起来了。感觉整个过程是不是不需要五分钟（当然如果网速慢，下载预训练的BERT模型可能就超过五分钟了）。

model = BLSTMCRFModel(embedding)
model.fit(train_x,train_y,epochs=1,batch_size=100)

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
Input-Token (InputLayer)        (None, 200)          0 __________________________________________________________________________________________________ Input-Segment (InputLayer) (None, 200) 0 __________________________________________________________________________________________________ Embedding-Token (TokenEmbedding [(None, 200, 768), ( 16226304 Input-Token[0][0] __________________________________________________________________________________________________ Embedding-Segment (Embedding) (None, 200, 768) 1536 Input-Segment[0][0] __________________________________________________________________________________________________ Embedding-Token-Segment (Add) (None, 200, 768) 0 Embedding-Token[0][0] Embedding-Segment[0][0] __________________________________________________________________________________________________ Embedding-Position (PositionEmb (None, 200, 768) 153600 Embedding-Token-Segment[0][0] __________________________________________________________________________________________________ Embedding-Dropout (Dropout) (None, 200, 768) 0 Embedding-Position[0][0] __________________________________________________________________________________________________ Embedding-Norm (LayerNormalizat (None, 200, 768) 1536 Embedding-Dropout[0][0] __________________________________________________________________________________________________ Encoder-1-MultiHeadSelfAttentio (None, 200, 768) 2362368 Embedding-Norm[0][0] __________________________________________________________________________________________________ Encoder-1-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-1-MultiHeadSelfAttention[ __________________________________________________________________________________________________ Encoder-1-MultiHeadSelfAttentio (None, 200, 768) 0 Embedding-Norm[0][0] Encoder-1-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-1-MultiHeadSelfAttentio (None, 200, 768) 1536 Encoder-1-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-1-FeedForward (FeedForw (None, 200, 768) 4722432 Encoder-1-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-1-FeedForward-Dropout ( (None, 200, 768) 0 Encoder-1-FeedForward[0][0] __________________________________________________________________________________________________ Encoder-1-FeedForward-Add (Add) (None, 200, 768) 0 Encoder-1-MultiHeadSelfAttention- Encoder-1-FeedForward-Dropout[0][ __________________________________________________________________________________________________ Encoder-1-FeedForward-Norm (Lay (None, 200, 768) 1536 Encoder-1-FeedForward-Add[0][0] __________________________________________________________________________________________________ Encoder-2-MultiHeadSelfAttentio (None, 200, 768) 2362368 Encoder-1-FeedForward-Norm[0][0] __________________________________________________________________________________________________ Encoder-2-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-2-MultiHeadSelfAttention[ __________________________________________________________________________________________________ Encoder-2-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-1-FeedForward-Norm[0][0] Encoder-2-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-2-MultiHeadSelfAttentio (None, 200, 768) 1536 Encoder-2-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-2-FeedForward (FeedForw (None, 200, 768) 4722432 Encoder-2-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-2-FeedForward-Dropout ( (None, 200, 768) 0 Encoder-2-FeedForward[0][0] __________________________________________________________________________________________________ Encoder-2-FeedForward-Add (Add) (None, 200, 768) 0 Encoder-2-MultiHeadSelfAttention- Encoder-2-FeedForward-Dropout[0][ __________________________________________________________________________________________________ Encoder-2-FeedForward-Norm (Lay (None, 200, 768) 1536 Encoder-2-FeedForward-Add[0][0] __________________________________________________________________________________________________ Encoder-3-MultiHeadSelfAttentio (None, 200, 768) 2362368 Encoder-2-FeedForward-Norm[0][0] __________________________________________________________________________________________________ Encoder-3-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-3-MultiHeadSelfAttention[ __________________________________________________________________________________________________ Encoder-3-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-2-FeedForward-Norm[0][0] Encoder-3-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-3-MultiHeadSelfAttentio (None, 200, 768) 1536 Encoder-3-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-3-FeedForward (FeedForw (None, 200, 768) 4722432 Encoder-3-MultiHeadSelfAttention- __________________________________________________________________________________________________ Encoder-3-FeedForward-Dropout ( (None, 200, 768) 0 Encoder-3-FeedForward[0][0] __________________________________________________________________________________________________ Encoder-3-FeedForward-Add (Add) (None, 200, 768) 0 Encoder-3-MultiHeadSelfAttention- Encoder-3-FeedForward-Dropout[0][ __________________________________________________________________________________________________ Encoder-3-FeedForward-Norm (Lay (None, 200, 768) 1536 Encoder-3-FeedForward-Add[0][0] __________________________________________________________________________________________________ Encoder-4-MultiHeadSelfAttentio (None, 200, 768) 2362368 Encoder-3-FeedForward-Norm[0][0] __________________________________________________________________________________________________ Encoder-4-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-4-MultiHeadSelfAttention[ __________________________________________________________________________________________________ Encoder-4-MultiHeadSelfAttentio (None, 200, 768) 0 Encoder-3-FeedForward-Norm[0][0] Encoder
weixin_ry5219775
关注
利用BERT进行命名实体识别(NER)
程序员光剑
08-15 2410
命名实体识别 (Named Entity Recognition, NER) 是自然语言处理 (Natural Language Processing, NLP) 中的一项基础任务，旨在识别文本中代表命名实体的词语或词语序列，并将其分类到预定义的类别，例如人名、地名、机构名、时间、日期等。NER 是许多 NLP 应用的重要组成部分，例如信息提取、问答系统、机器翻译和文本摘要等。传统的 NER 方法通常依赖于手工设计的特征和领域特定的规则，这些方法需要大量的专家知识，并且难以推广到新的领域或语言。
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
伯特·中国人 前言 使用预训练语言模型BERT做中文NER尝试，微调BERT模型 PS：移步最新模型 代码参考 使用方法 从下载bert源代码，存放在路径下bert文件夹中 从下载模型，放置在checkpoint文件夹下 使用BIO数据标注模式，使用人民日报经典数据 培养： python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
BERT-NER 项目使用教程
最新发布
gitblog_00159的博客
08-09 305
BERT-NER 项目使用教程 BERT-NER项目地址:https://gitcode.com/gh_mirrors/be/BERT-NER 项目介绍 BERT-NER 是一个基于 PyTorch 的命名实体识别（Named Entity Recognition, NER）项目，利用预训练的 BERT 模型进行实体识别。该项目支持多种语言，特别适用于处理中文文本。BERT-NER 通过微调预训...
Python-使用预训练语言模型BERT做中文NER
08-10
使用预训练语言模型BERT做中文NER
基于BERT实现简单的NER任务
weixin_45101959的博客
02-17 6097
命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。作用命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。
transformers实践:基于BERT训练自己的NER模型
和木的专栏
08-27 4203
文章目录transformers实践:基于BERT训练自己的NER模型数据集处理训练过程模型的调用和使用附：两个数据集说明：附：参考 transformers实践:基于BERT训练自己的NER模型 基于训练好的BERT进行迁移NER的原理如下： 官方样例集成的很好，直接运行run_ner.py即可，下面对几个步骤(数据预处理、运行参数、模型调用)做下补充说明 数据集处理 run_ner.p中train_file要求的格式样例，如 https://github.com/huggingface/transfo
自然语言处理实战项目8- BERT模型的搭建，训练BERT实现实体抽取识别的任务
weixin_42878111的博客
05-29 2968
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目8- BERT模型的搭建，训练BERT实现实体抽取识别的任务。BERT模型是一种用于自然语言处理的深度学习模型，它可以通过训练来理解单词之间的上下文关系，从而为下游任务提供高质量的语言表示。它的结构是由多个Transformer编码器组成的，而Transformer编码器是由多个自注意力机制组成的。在训练中，模型通过预测遮盖的单词和判断两个句子之间的关系来提高语言表示的准确性。在实体识别任务中，BERT模型可以作为特征提取器使用，将每个单词的上下文
基于keras和keras_bert的中文命名实体识别，搭建的网络为bert+bilstm_crf.zip
04-03
标题中的“基于keras和keras_bert的中文命名实体识别，搭建的网络为bert+bilstm_crf.zip”指的是一个使用Keras库和keras_bert扩展进行中文命名实体识别（NER）的项目。该项目结合了BERT模型，双向长短时记忆网络（Bi...
Python-流行BERT模型的一个简单而完整的实现
08-10
流行BERT模型的一个简单而完整的实现
BERT模型工程
11-22
google 最新推出的BERT模型工程代码，在11个NLP数据集上达到最优效果
Tensorflow2.0 Bert模型NER 数据预处理.rar
08-20
tensorflow2.0 对实体命名识别的数据预处理 1
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。 数据集列表 cner：数据集/ cner 主持人： ： 型号清单 BERT + Softmax BERT + CRF BERT +跨度 需求 1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 + 输入格式 输入格式（首选BIOS标记方案），每个字符的标签为一行。 句子用空行分隔。 美 B-LOC 国 I-LOC 的 O 华 B-PER 莱 I-PER 士 I-PER 我 O 跟 O 他 O 运行代码 在run_ner_xxx.py或run_ner_xxx.sh修改配置信息。 sh scripts/run_ner_xxx.sh 注意：模型的文件结构 ├── prev_trained_model | └── bert_base | | └── pytorch_model.bin | | └── config.json | | └── vocab.txt | | └── ...... CLUENER结果 BERT在dev上的整体性能： 准确性（实体） 召回（实
基于BERT的NER模型，集成了LSTM，CRF网络结构，FGM，EMA等提分trick，还有单独的MRC框架.zip
05-22
基于BERT的NER模型，集成了LSTM，CRF网络结构，FGM，EMA等提分trick，还有单独的MRC框架LSTM (Long Short-Term Memory) 是一种特殊的循环神经网络（RNN）架构，用于处理具有长期依赖关系的序列数据。传统的RNN在处理长序列时往往会遇到梯度消失或梯度爆炸的问题，导致无法有效地捕捉长期依赖。LSTM通过引入门控机制（Gating Mechanism）和记忆单元（Memory Cell）来克服这些问题。 以下是LSTM的基本结构和主要组件： 记忆单元（Memory Cell）：记忆单元是LSTM的核心，用于存储长期信息。它像一个传送带一样，在整个链上运行，只有一些小的线性交互。信息很容易地在其上保持不变。 输入门（Input Gate）：输入门决定了哪些新的信息会被加入到记忆单元中。它由当前时刻的输入和上一时刻的隐藏状态共同决定。 遗忘门（Forget Gate）：遗忘门决定了哪些信息会从记忆单元中被丢弃或遗忘。它也由当前时刻的输入和上一时刻的隐藏状态共同决定。 输出门（Output Gate）：输出门决定了哪些信息会从记忆单元中输出到当前时刻的隐藏状态中。同样地，它也由当前时刻的输入和上一时刻的隐藏状态共同决定。 LSTM的计算过程可以大致描述为： 通过遗忘门决定从记忆单元中丢弃哪些信息。 通过输入门决定哪些新的信息会被加入到记忆单元中。 更新记忆单元的状态。 通过输出门决定哪些信息会从记忆单元中输出到当前时刻的隐藏状态中。 由于LSTM能够有效地处理长期依赖关系，它在许多序列建模任务中都取得了很好的效果，如语音识别、文本生成、机器翻译、时序预测等。
基于BERT的中文命名实体识别
Yumath的笔记
09-13 7079
Bert-ChineseNER Introduction BERT 简要地介绍一下BERT，网上对于BERT的介绍已经满天飞了。BERT是谷歌在2018年提出的一个预训练语言模型，不同于传统的语言模型使用自回归的方式对文本进行语言模型的学习，BERT提出了一种新颖的Mask Language Model，结合谷歌在2017年提出的Transformer网络结构，对文本进行“真正”的双向建模。 Fi...
（10-4-01）BERT ：命名实体识别（NER）中的BERT(1)
码农三叔
04-23 1234
最后，使用训练得到的NER模型，源码演示了如何进行实体标签的预测，包括手动实现的方法和transformers库中的pipeline。最后，打印了数据集中记录的数量，并显示了前5行聚合后的数据，以展示每个句子的全部数据。上面的输出是一个模型参数的下载提示，表示正在下载模型的安全张量（safetensors），下载的速度是436MB/秒。下载过程的日志显示了相应模型文件的下载过程。执行上述代码后绘制了含有两个子图的可视化图，第一个子图展示了标签通用部分的计数，即不考虑位置信息的标签统计，具体说明如下所示。
BERT模型—3.BERT模型在ner任务上的微调
柳杰的博客
07-26 2939
文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码运行流程2.运行结果3.预测 引言   这一节学习BERT模型如何在ner任务上进行微调。项目代码框架如下： 争取做到每一行代码每一行注释！！！ 一、项目环境配置 python>=3.6 torch==1.6.0 transformers==3.0.2 seqeval==0.0.12 pytorch-crf==0.7.2 二、数据集介绍 Train Dev Test Slot (NER) Labels A
帮我搭建一个bert模型
09-25
好的，可以的。搭建BERT模型需要一定的编程知识和机器学习背景，你可以使用常用的深度学习框架，例如TensorFlow或PyTorch来实现。 以下是在TensorFlow中搭建BERT模型的简单步骤： 1. 安装TensorFlow：可以通过命令行或者终端进行安装。 2. 安装BERT预训练模型：可以从TensorFlow官方网站或其他第三方网站下载BERT预训练模型。 3. 加载预训练模型：在代码中加载预训练模型，并初始化模型参数。 4. 定义模型输入：定义输入的文本数据，并将其转化为可输入到BERT模型中的格式。 5. 定义模型输出：定义BERT模型的输出，并定义如何计算损失函数。 6. 训练模型：训练模型，并在训练过程中不断优化模型参数。 7. 评估模型：使用测试数据评估模型的性能。 如果你在实现过程中有任何困难，可以给我更多的信息，我会尽量帮助你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值