RoBERTa tokenizer出现奇奇怪怪的“G”

最新推荐文章于 2024-06-22 15:36:00 发布
最新推荐文章于 2024-06-22 15:36:00 发布
阅读量4.5k 收藏 5
点赞数 15
分类专栏： 深度学习 文章标签： BERT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/111405755
版权

在用Transformer RoBERTa的时候，使用RoBERTaTokenizer，分词之后每个token前面会出现奇奇怪怪的“G”(上面还有个点号，其实试unicode 字符\u0120)
在这里插入图片描述
原因是RoBERTa和GPT-2等一样，词表用的是BPE(original BPE paper by Sennrich et al),它不同于我们用的普通BERT的tokenizer,即WordPiece vocabulary，把未知的word不停按照subword分下去（比方说“#T”,"##ok",按照分的级数确定前面“#”的个数）

其实在下载RoBERTa的时候就会发现，它和普通BERT相比，下载文件有点不一样
普通BERT:
在这里插入图片描述
RoBERTa:
在这里插入图片描述
RoBERTa的vocab里面打开会发现所有的word前面都会有个"G",同时它还多了个merge.txt
在这里插入图片描述
还有为什么会出现“G”?
在这里插入图片描述

有关tokenization：
机器如何认识文本 ？NLP中的Tokenization方法总结

参考资料

github-为什么会出现“G”
github-为什么要有merge.txt
Difficulty in understanding the tokenizer used in Roberta model
Tokenization issue with RoBERTa and DistilRoBERTa

RoBERTa原理与代码实例讲解
AI天才研究院
06-07 552
RoBERTa原理与代码实例讲解 1.背景介绍 在自然语言处理（NLP）领域，预训练语言模型已经成为了推动技术进步的关键。自从BERT（Bidirectional Encoder Representations from Transformers）问世以来，预训练语言模型的性能得到了显著提升
RoBERTa中的merge.txt和vocab.json是什么？
anshiquanshu的专栏
12-27 1929
背景 在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？ PS：这里使用的是huggingface/transformers 下的 RoBRTa-base版模型。 说明 Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBP
Roberta的tokenizer简单使用
qq_37418807的博客
03-28 4304
from transformers import AutoTokenizer model_checkpoint = "distilbert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) tokens = datasets["train"][4]['tokens'] token_strings = ' '.join(datasets["train"][4]['tokens']) print('sentence
roberta
qq_37008037的博客
12-15 269
https://blog.csdn.net/ljp1919/article/details/100666563、 mask 代码比较https://blog.csdn.net/baidu_15113429/article/details/103225548 改变的只是预训练的方法。论文中写得挺清楚的，比bert好主要是三个方面： nsp丢了没卵用 mask换成动态了，其实相当于不重复看数据 数据集放大放大再放大，看！每一个句子都看得清清楚楚 1. 静态Masking vs 动态Masking 原
【HuggingFace】RoBERTa分词器RobertaTokenizer编码完整单词
十一月廿七风雨大作
07-31 3530
在用`RobertaTokenizer`对单词进行分词的时候，发现单词`acquire`会被分词两个词根，但是`RobertaForMaskedLM`可以预测出来单词`acquire`。
Transformers Roberta如何添加tokens
Vincy_King
06-21 924
用tansformers roberta模型添加special tokens
Transformers的RoBERTa model怎么使用word level的tokenizer
qysh123的专栏
08-24 1857
不得不说，和上面相比，差别有点大啊（例如：tokenizer = Tokenizer(WordLevel())，以及必需要加tokenizer.pre_tokenizer = Whitespace()这一行）。其实这个问题应该是很好解决的，想不到竟然花了3个多小时。我去，这个原因我也是醉了，所以最后手动建立一个空白的merges.txt文件，然后就可以正常保存和使用这个tokenizer了。从之前说的RoBERTa的示例代码可以知道， 需要再重新加载的tokenizer需要在一个文件夹下，所以这个也不行。
RoBERTa中文预训练模型.zip
07-01
RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同...
基于python的中文预训练RoBERTa模型型
03-21
tokenizer = RobertaTokenizer.from_pretrained('roberta-base') model = RobertaModel.from_pretrained('roberta-base') ``` 这里的`RobertaTokenizer`用于对输入文本进行分词和编码，`RobertaModel`则是模型实例...
polish-roberta:RoBERTa波兰语模型
05-04
波兰RoBERTa 该存储库包含针对波兰语的经过预训练的模型，以及针对几种波兰语语言任务的评估代码。 使用波兰华沙国家信息处理研究所的对发布的模型进行了训练。 我们提供了两种基于BERT基本架构和BERT大型架构的...
Transformer大模型实战 了解RoBERTa
AI天才研究院
06-15 549
Transformer大模型实战 了解RoBERTa 1.背景介绍 随着自然语言处理(NLP)技术的不断发展,Transformer模型凭借其卓越的性能在各种NLP任务中获得了广泛的应用。作为Transformer模型的一种变体,RoBERTa(Robustly Opti
UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\u0120‘ in position 2: illegal multibyte seq
weixin_44219178的博客
01-16 528
在文件头部写上: #-*- coding: utf-8 -*-
Unicode编码表
热门推荐
user_920的专栏
09-21 2万+
Unicode编码表/0000-0FFF 图例： Unicode 3.1 Unicode 1.0 Unicode 3.2 Unicode 1.1 Unicode 4.0 Unicode 2.0 Unicode 4.1 Unicode 2.1 未使用
从BERT到ROBERTA：预训练语言模型的优化之路
Chaos的博客
03-14 2175
自从深度学习在自然语言处理领域得到广泛应用以来，Transformer模型一直是自然语言处理的重要研究方向。2017年，谷歌推出了Transformer模型的创新之作——BERT，在自然语言处理领域引起了极大的关注。2020年，Facebook AI Research推出了ROBERTA模型，它在BERT的基础上做了一些改进，取得了更好的效果。本文将详细介绍ROBERTA模型的原理、优势和劣势，并通过案例和代码的方式帮助读者深入理解。
Transformer使用RobertaTokenizer时解决TypeError: not NoneType
csdndogo的博客
07-06 2694
用roberta时下载bert相同的四个文件会报错TypeError。在使用bert-base-uncased时，只需要下载四个。使用roberta-large时，要多下载一个merges.txt
Transformers 4.37 中文文档（八十六）
最新发布
龙哥盟
06-22 837
DePlot 是由 Fangyu Liu, Julian Martin Eisenschlos, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Wenhu Chen, Nigel Collier, Yasemin Altun 在论文中提出的。该论文的摘要如下：图表等视觉语言在人类世界中无处不在。理解图表和图表需要强大的推理能力。
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
hello world
11-08 8876
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
【NLP】第12章 检测客户情绪以做出预测
sikh_0529的博客
09-26 7134
Transformers 的灵活性允许我们在同一个模型上尝试许多不同的任务，或者在许多不同的模型上尝试相同的任务。我们会发现，无论我们尝试哪种模型，如果没有得到足够的训练，它都将无法工作。情感分析的理论难度需要大量的 Transformer 模型训练、强大的机器和人力资源。除了对 BERT 模型进行其他调整外，还对教师的最后一个自我注意层进行了优化，以获得更好的性能。我们将测试几个模型。以无事可做的用户身份运行 NLP 任务显示了工业 4.0 (I4.0) 的发展方向：更少的人工干预和更多的自动化功能。
加载RoBERTa-wwm的tokenizer和预训练模型的路径是什么
05-16
加载RoBERTa-wwm的tokenizer和预训练模型的路径可以通过以下代码实现： ```python from transformers import RobertaTokenizer, RobertaModel tokenizer = RobertaTokenizer.from_pretrained('hfl/chinese-roberta-wwm-ext') model = RobertaModel.from_pretrained('hfl/chinese-roberta-wwm-ext') ``` 在这里，我们使用 `from_pretrained` 方法加载预训练模型和tokenizer。预训练模型和tokenizer的路径是 'hfl/chinese-roberta-wwm-ext'。在这个路径下，有一个 `config.json` 文件，它描述了模型的配置信息，还有一个 `pytorch_model.bin` 文件，它保存了预训练的模型参数。这两个文件都需要在加载预训练模型时使用。tokenizer还有一个 `vocab.txt` 文件，它保存了将文本转换为token的映射关系。这个文件也需要在加载tokenizer时使用。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值