解决使用bert对英文进行ner（命名实体识别）任务中wordpiece的问题

最新推荐文章于 2024-04-24 14:59:52 发布
最新推荐文章于 2024-04-24 14:59:52 发布
阅读量531 收藏 4
点赞数 1
文章标签： bert 人工智能 深度学习 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43837731/article/details/129162856
版权

解决bert的wordpiece对英文ner任务的影响

应用背景

最近在做搜索的相关业务，需要对query的属性进行提取业务时,针对英文的短语使用bert的tokenizer进行编码时，产生wordpiece的问题进行了处理

问题演示：

from transformers import BertTokenizer

tokenizer = BertTokenizer(vocab_file='./vocab.txt')
sentence = 'it is a red t-shirt'
encode_label = tokenizer.encode(line_1, return_tensors='pt'<
最低0.47元/天 解锁文章
小小的我大大的meng
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERT模型的WordPiece策略对NER任务的影响以及解决方法
simon469660451的博客
04-21 518
BERT模型的WordPiece策略对NER任务的影响
BERT-CH-NER：基于BERT的中文命名实体识别
02-03
基于BERT的中文数据集下的命名实体识别（NER） 基于tensorflow官方代码修改。 环境 Tensorflow：1.13 的Python：3.6 tensorflow2.0会报错。 搜狐比赛 在搜狐这个文本比赛中写了一个基准，使用了bert以及bert + ...
NER任务中BERT-CRF 模型的英文数据padding与aligning
magic_road的博客
09-22 897
最近因为需要用BERT-CRF模型做一个英文数据的实体抽取模型训练，因为github上BERT-CRF大多是对中文数据做NER， 这里特此记录一下处理过程中的解决方法与思路，废话不多说直接上代码，这里的代码模版参考的是 CLUENER2020项目下的BERT-CRF模型代码, 主要修改部分在 collate_fn 部分的 batch数据的 padding与aligning处理。
BERT 中wordPiece的原理
qq_28935065的博客
08-03 1846
1.为什么使用wordPiece？ 在BERT中，做数据预处理的时候，使用了wordPiece，所谓的wordPiece其实是把word再进一步的拆分，拆分为piece，得到更细粒度。而为什么使用wordPiece 而不直接使用word？比如如"loved","loving","loves"这三个单词。其实本身的语义都是“爱”的意思，但是如果我们以单词为单位，那它们就算作是不一样的词，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。 2.wordPiece的实现算
基于BERT的英文query实体识别模型
duty19895417的专栏
12-01 827
基于bert的英文query实体识别
bert分词器及文本还原
weston95的博客
09-05 222
df['合并文本'] = df['标题'].astype(str) + ' ' + df['内容'].astype(str)print("合并分词结果后的数据已保存至 Merged_Tokenized_News.xlsx")original_texts = [] # 用于存储还原后的文本。# 将带有分词结果的DataFrame写入新的Excel文件。# 将分词结果合并为一个字符串。# 逆向分词还原并将结果添加为新的列。# 将还原后的文本添加为新的列。# 将分词结果添加为新的列。# 合并标题和内容到一列。
Davlan/bert-base-multilingual-cased-ner-hrl NER命名实体识别模型
07-25
总之，Davlan/bert-base-multilingual-cased-ner-hrl模型是NLP领域的一个强大工具，它结合了BERT的深度学习能力与多语言识别的灵活性，为处理全球多语言的命名实体识别问题提供了有效途径。通过持续的优化和微调，...
使用bert预训练模型微调实现命名实体识别任务
03-11
对在大型公共语料库上预训练的bert模型进行微调实现命名实体识别任务
BERT-NER：使用Google的BERT进行命名实体识别（CoNLL-2003作为数据集）
02-06
使用Google的BERT进行命名实体识别（CoNLL-2003作为数据集）。 原始版本（有关更多详细信息，请参见old_version）包含一些硬代码，并且缺少相应的注释，因此不方便理解。 因此，在此更新版本中，有一些新的想法和...
python实现基于bert-mrc的中文命名实体识别源码+全部数据.zip
11-16
python实现基于bert_mrc的中文命名实体识别源码+全部数据.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 python实现基于bert_mrc的中文命名实体识别源码+全部数据....
bert_vn_ner:使用Google AI的BERT模型的越南命名实体识别任务的PyTorch解决方案
05-04
BERT模型的Pytorch实现为越南语执行命名实体识别（NER）。 此外，单词中的特征也用于表示单词。 该系统使用预训练模型 安装 要求： Python 3.6+ 火炬1.4+ 安装依赖项： pip3 install -r requirements.txt 数据...
MSRA-NER 中文命名实体识别
04-09
命名实体识别（Named Entity Recognition, NER）是自然语言处理（NLP）领域的一个关键任务，它涉及到从文本中抽取出具有特定意义的实体，如人名、地名、机构名等。在中文环境下，这一任务尤为复杂，因为中文字符没有...
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。数据集列表cner：数据集/ cner 主持人： ： 型号清单BERT + Softmax BERT + CRF BERT +跨度需求1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 +输入格式输入格式（首选...
python实现基于中文TaCL-BERT的中文命名实体识别及中文分词.zip
11-16
python实现基于中文TaCL-BERT的中文命名实体识别及中文分词.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 python实现基于中文TaCL-BERT的中文命名实体识别及中文...
基于BERT-BILSTM-CRF进行中文命名实体识别python源码+项目使用说明+数据+模型.zip
最新发布
05-15
基于BERT-BILSTM-CRF进行中文命名实体识别python源码+项目使用说明+数据+模型已获导师指导并通过的97分的高分期末大作业项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于BERT-BI...
（10-4-02）BERT ：命名实体识别（NER）中的BERT(2)
码农三叔
04-24 809
然后，读取模型的配置文件（"config.json"），更新其中的标签映射（id2label和label2id），最后再次保存更新后的配置文件。首先，加载了微调后的NER模型和相应的分词器，然后通过管道对用户输入的文本例子进行NER标签的预测，最后输出预测结果。（19）通过下面的代码，用户可以输入任意文本例子，该代码将利用预训练的NER模型对用户输入的文本进行实体标签的预测，并将预测结果输出显示。（18）调用预训练的NER模型，对给定的文本进行实体标签的预测，并输出带有彩色标记的结果。
bert命名实体识别
frank_zhaojianbo的博客
06-12 2485
导入命名实体 import torch import pandas as pd import numpy as np path = './' comments = pd.read_csv(path + '英文命名实体信息.csv', encoding="latin1").fillna(method="ffill") print('命名实体总数：%d' % comments.shape[0]) Tags = list(set(comments['Tag'])) for tag in Tags: p
【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别
zeiyousao的博客
07-05 2784
本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。本文的任务目标在于利用预训练的语言模型，辅助下游的英语的识别任务。主要包括四大模块：tokenizer、Bert model、classifier、CRF layer。............
BERT中的WordPiece实现了什么功能？为什么要这么做？
火云明月的博客
03-31 2173
WordPiece实现了将单词拆分为subword的功能。比如"loves"、“loved”、“loving”这三个单词。其本身的语义都是"爱"，但是如果以单词为单位，那这些单词就是不同的词。WordPiece算法可以把这3个单词拆分为“lov”，“ed”,"#ing","#es"几部分，这些单词都有相同的部分"lov"，这样可以把词的本身的意思和前缀、后缀分开，使得最终的词表变得精简。 为什么要这门做？因为按照传统方式进行分词，由于单词存在时态、单复数等多种变化会导致词表非常大，影响训练速度，并且即使一个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值