Bert 将长段分成句子放在一个batch输入

于 2024-04-11 09:19:23 发布
阅读量382 收藏
点赞数 2
文章标签： bert batch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42802447/article/details/126236079
版权 
from nltk.tokenize import RegexpTokenizer

sentence = """Thomas Jefferson began building Monticello at the age of 26."""
# 按照自己的规则进行分词,使用正则分词器
# \w 匹配字母、数字、下划线
# 匹配任何非空白字符
tokenizer = RegexpTokenizer(r'\w+|$[0-9.]+|\S+')
print(tokenizer.tokenize(sentence))

bert的任务 上下句和mask，mask掩码就是需要预测的部分，上下句预测现在基本不用了 mask基本都会加上，mask 可以控制掩住哪里
使用预训练模型时候要注意预训练的权重是在什么类型的数据集上训练的，方面情感分析 可以分为多少个方面类也比较重要

浪里摸鱼
关注
Bert文本分类实战（附代码讲解）
Python，数据分析，机器学习，深度学习
03-25 2万+
一、Bert简介 BERT全称是Bidirectional Encoder Representations from Transformers，是google最新提出的NLP预训练方法，在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于我们关心的下游NLP任务（如分类、阅读理解）。 BERT优于以前的方法，因为它是用于预训练NLP的第一个**无监督，深度双向**系统，从名字我们能看出该模型两个核心特质：依赖于Transformer以及双向，同时它也是木偶动画《芝麻街》里面的角色，
bert分词工具-使用Bert自带的WordPiece分词工具将文本分割成单字
broccoli2的博客
04-02 6157
笔者不久前发布过一个[中文分字工具]（本文称之为version1.0）(https://blog.csdn.net/broccoli2/article/details/104952639)，该工具是将所有的字符单独分离出来，并以空格隔开。笔者使用该工具分字之后在实体分类任务上的效果很差。原因可能有下. 时间数据经version1.0处理之后如下： 原数据：2020年4月2日 version1.0处...
tokenizer.batch_encode_plus
为学日益 为道日损
08-18 9424
注释是输出 tokenizer = BertTokenizer.from_pretrained('C:\\Users\\lgy\\Desktop\\fsdownload\\bert-base-uncased') print(tokenizer.mask_token) # [MASK] print(tokenizer.convert_tokens_to_ids('a')) # 1037 print(tokenizer.convert_ids_to_tokens(1037)) # a string = "
NLP---Bert分词
Chem0527的博客
03-19 1150
根据这三个判断‘是’ 是否需要切开。用1、2的‘我’embedding距离代表‘我’前后的影响大小d1；用2，3的‘是’embedding距离代表‘是’前后影响大小d2，然后用d1d2的平均代表切割前后对两个字影响的大小，大于阈值则切开。1：先将token_ids 复制 (2 * length - 1) 份。第一次先mask’我’，然后mask’我是’，然后mask’是’比如[‘我’,‘是’,‘中’,]
文本数据的batching方法
Miracle_520的博客
06-25 338
预处
Bert的文本编码tokenizer、分隔符(MASK/CLS/SEP)编码
凝眸伏笔的博客
08-02 2万+
1.文本编码 bert模型的输入是文本，需要将其编码为模型计算机语言能识别的编码。这里将文本根据词典编码为数字 2.分隔符编码 特殊的分隔符号： [MASK] ：表示 需要带着[]，并且mask是大写，对应的编码是103 [SEP]: 对应的编码是102 [CLS]:对应的编码是101 []:对应的编码是 eg： from transformers import BertTokenizer bert_name = 'bert-base-chinese' tokenizer = ..
Bert代码详解（一）
cpluss的博客
03-12 2万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
使用Bert_BiLSTM_CRF进行实体或事件序列标注、获取微调后的Bert词向量
weixin_44305190的博客
09-02 5334
序列标注任务 现在很多自然语言处理的任务都被视为基于神经网络的序列标注任务，如实体识别和事件抽取这两个信息抽取中的子任务，序列标注任务就是通过训练和基于概率对文本的每一个字符打上对应的标签，我们就可以对我们想要识别出的文本部分打上特定的标签，可以看成一种编码和解码，自然语言处理的任务跟通信模型非常类似，很多模型都是对文本进行编码之后再解码就能得到对应结果。 本文介绍的是基本的Bert_BiLSTM_CRF的序列标注，其中的Bert是预训练语言模型，主要用来获取文本对应的向量，Bert是在大规模的文本语料上训
bert 中文 代码 谷歌_从字到词，大词典中文BERT模型的探索之旅
weixin_40003233的博客
12-03 385
导语： BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BERT模型。但是受限于显存，谷歌原生的BERT模型可以使用的词典比较小，只能覆盖一小部分的汉语的词。在本文中，我们提出了对BERT的一些改进，将中文BERT词模型的词典大小进行了大幅扩充，并在多个下游任务上测试了大词典BER...
Bert从入门到放弃——Bert文章精读（每部分的内容简介）及核心问题
weixin_45169380的博客
04-27 2501
BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 谷歌的小哥写出来的，据说是master，我辈楷模 文章逐段简介 每段摘要，读的时候带有目的去读 1.摘要（Abstract）：与别的文章的区别是什么？效果有多好？ gpt是用左侧的信息去预测未来，bert是用左右两边的上下文的双向的信息（带掩码所以允许看左右的信息，相当于完形填空）； ELMO是基于RNN的架构的双向系统，bert是tra
BERT中的Tokenizer说明
weixin_42223207的博客
08-03 3万+
BERT中的Tokenizer说明
自然语言处理实战项目10-文本处理过程与输入bert模型后的变化
weixin_42878111的博客
06-10 987
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战10-文本处理过程与输入bert模型后的变化，通过一段文本看看他的整个变化过程，经过怎样得变化才能输入到模型，输入到模型后文本又经过怎样的计算得到最后的结果。看完这篇文章大家对文本数据处理过程就会有非常深刻的理解了。
NLP 第五周 语言模型，bert（2）
weixin_44586881的博客
09-16 1619
如有侵权，本人立马删除
BERT全网最强最完全最深度解析-大厂面试必备
Xu_Wave
05-05 3507
BERT详解 面试深度级别
BERT 细节问题
u011412768的博客
08-15 2418
输入相关 1、三个Embedding直接相加会对语义有影响吗？ 虽然在深度神经网络里变得非常复杂，本质上神经网络中每个神经元收到的信号也是“权重”相加得来。虽然在深度神经网络里变得非常复杂，本质上神经网络中每个神经元收到的信号也是“权重”相加得来。 在实际场景中，叠加是一个更为常态的操作。比如声音、图像等信号。一个时序的波可以用多个不同频率的正弦波叠加来表示。只要叠加的波的频率不同，我们就可以通过傅里叶变换进行逆向转换。一串文本也可以看作是一些时序信号，也可以有很多信号进行...
bert做文本摘要_BERT-WWM
weixin_35916106的博客
12-03 1520
New May 31st, 2019: Whole Word Masking Models （google-research）https://github.com/google-research/bertWhole Word Masking (wwm)是谷歌在2019年5月31日发布的一项BERT的升级版本，主要更改了原预训练阶段的训练样本生成策略。 简单来说，原有基于WordPiece的分词方式...
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
huggingface使用（一）：AutoTokenizer（通用）、BertTokenizer（基于Bert）
u013250861的博客
05-02 4万+
AutoTokenizer是又一层的封装，避免了自己写attention_mask以及token_type_ids import transformers import config origin_tokenizer = transformers.BertTokenizer.from_pretrained(config.pretrained_model_path) auto_tokenizer = transformers.AutoTokenizer.from_pretrained(config.pret
bert第三篇：tokenizer
iterate7的博客
10-08 3万+
文章目录tokenizer基本含义bert里涉及的tokenizerBasicTokenzerwordpiecetokenizerFullTokenzierPretrainTokenizer关系图实操如何训练训练自己中文的tokenizer总结引用 tokenizer基本含义 tokenizer就是分词器； 只不过在bert里和我们理解的中文分词不太一样，主要不是分词方法的问题，bert里基本都是最大匹配方法。 最大的不同在于“词”的理解和定义。 比如：中文基本是字为单位。 英文则是subword的概念，例
生成一段利用bert模型对长文本进行语义的代码
最新发布
09-27
在Python中，利用BERT模型进行长文本的语义理解通常涉及到几个步骤，这里是一个基本的例子，假设我们正在使用Hugging Face的Transformers库： ```python from transformers import BertTokenizer, BertForSequenceClassification import torch # 加载预训练的BERT模型和tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) # 假设二分类任务 def process_and_predict(text): # 对输入文本进行编码 inputs = tokenizer.encode_plus( text, add_special_tokens=True, # 添加[CLS]和[SEP]特殊token max_length=512, # BERT的最大长度限制 padding='max_length', truncation=True, # 如果文本过长，则进行截断 return_attention_mask=True, return_tensors='pt' # 返回PyTorch张量 ) # 将输入传递给模型 with torch.no_grad(): # 防止梯度计算，提高速度 outputs = model(**inputs) # 获取模型的预测结果 logits = outputs.logits predicted_label_id = torch.argmax(logits, dim=1).item() # 获取类别标签（例如，0为正面，1为负面） label_map = {0: 'positive', 1: 'negative'} prediction = label_map[predicted_label_id] return prediction long_text = "这是一个非常长的句子，包含很多细节... (省略部分)" prediction = process_and_predict(long_text) print(f"长文本的语义预测结果: {prediction}") ``` 这个例子展示了如何加载预训练的BERT模型，对文本进行编码并进行情感分析预测。注意，这只是一个基础版本，实际应用中可能还需要根据具体的任务需求调整代码，比如调整模型架构、优化参数等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪里摸鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值