RoBERTa tokenizer出现奇奇怪怪的“G”

最新推荐文章于 2023-07-31 23:30:00 发布
最新推荐文章于 2023-07-31 23:30:00 发布
阅读量4.1k 收藏 5
点赞数 13
分类专栏： 深度学习 文章标签： BERT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/111405755
版权

在用Transformer RoBERTa的时候，使用RoBERTaTokenizer，分词之后每个token前面会出现奇奇怪怪的“G”(上面还有个点号，其实试unicode 字符\u0120)
在这里插入图片描述
原因是RoBERTa和GPT-2等一样，词表用的是BPE(original BPE paper by Sennrich et al),它不同于我们用的普通BERT的tokenizer,即WordPiece vocabulary，把未知的word不停按照subword分下去（比方说“#T”,"##ok",按照分的级数确定前面“#”的个数）

其实在下载RoBERTa的时候就会发现，它和普通BERT相比，下载文件有点不一样
普通BERT:
在这里插入图片描述
RoBERTa:
在这里插入图片描述
RoBERTa的vocab里面打开会发现所有的word前面都会有个"G",同时它还多了个merge.txt
在这里插入图片描述
还有为什么会出现“G”?
在这里插入图片描述

有关tokenization：
机器如何认识文本 ？NLP中的Tokenization方法总结

参考资料

github-为什么会出现“G”
github-为什么要有merge.txt
Difficulty in understanding the tokenizer used in Roberta model
Tokenization issue with RoBERTa and DistilRoBERTa

Reza.
关注
  • 13
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
polish-roberta:RoBERTa波兰语模型
05-04
波兰RoBERTa 该存储库包含针对波兰语的经过预训练的模型，以及针对几种波兰语语言任务的评估代码。 使用波兰华沙国家信息处理研究所的对发布的模型进行了训练。 我们提供了两种基于BERT基本架构和BERT大型架构的...
1993-RobertA.Floyd-TheRoleofM
11-02
1993_RobertA.Floyd_TheRoleofMetalIonsinOxidativeProcessesandAging共18页.pdf.zip
Transformer使用RobertaTokenizer时解决TypeError: not NoneType
csdndogo的博客
07-06 2271
用roberta时下载bert相同的四个文件会报错TypeError。在使用bert-base-uncased时，只需要下载四个。使用roberta-large时，要多下载一个merges.txt
RoBERTa中的merge.txt和vocab.json是什么？
ljp1919的专栏
02-03 5636
背景 在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？ 说明 Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBPE过程中merge得到的所有token，可以简单理解成就是字典。vocab.json则是一个字典中基本单元到索
Roberta的tokenizer简单使用
qq_37418807的博客
03-28 3995
from transformers import AutoTokenizer model_checkpoint = "distilbert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) tokens = datasets["train"][4]['tokens'] token_strings = ' '.join(datasets["train"][4]['tokens']) print('sentence
roberta
qq_37008037的博客
12-15 242
https://blog.csdn.net/ljp1919/article/details/100666563、 mask 代码比较https://blog.csdn.net/baidu_15113429/article/details/103225548 改变的只是预训练的方法。论文中写得挺清楚的，比bert好主要是三个方面： nsp丢了没卵用 mask换成动态了，其实相当于不重复看数据 数据集放大放大再放大，看！每一个句子都看得清清楚楚 1. 静态Masking vs 动态Masking 原
Transformers Roberta如何添加tokens
Vincy_King
06-21 818
用tansformers roberta模型添加special tokens
【HuggingFace】RoBERTa分词器RobertaTokenizer编码完整单词
最新发布
十一月廿七风雨大作
07-31 3174
在用`RobertaTokenizer`对单词进行分词的时候，发现单词`acquire`会被分词两个词根，但是`RobertaForMaskedLM`可以预测出来单词`acquire`。
Transformers的RoBERTa model怎么使用word level的tokenizer
qysh123的专栏
08-24 1694
不得不说，和上面相比，差别有点大啊（例如：tokenizer = Tokenizer(WordLevel())，以及必需要加tokenizer.pre_tokenizer = Whitespace()这一行）。其实这个问题应该是很好解决的，想不到竟然花了3个多小时。我去，这个原因我也是醉了，所以最后手动建立一个空白的merges.txt文件，然后就可以正常保存和使用这个tokenizer了。从之前说的RoBERTa的示例代码可以知道， 需要再重新加载的tokenizer需要在一个文件夹下，所以这个也不行。
RoBERTa中文预训练模型.zip
07-01
RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同...
基于python的中文预训练RoBERTa模型型
03-21
基于python的中文预训练RoBERTa模型
中文roberta模型文件(tensorflow)
01-11
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16的tensorflow版本，亲测可用。如果需要pytorch版本，请自行进行转换。
UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\u0120‘ in position 2: illegal multibyte seq
weixin_44219178的博客
01-16 498
在文件头部写上: #-*- coding: utf-8 -*-
从BERT到ROBERTA：预训练语言模型的优化之路
Chaos的博客
03-14 1877
自从深度学习在自然语言处理领域得到广泛应用以来，Transformer模型一直是自然语言处理的重要研究方向。2017年，谷歌推出了Transformer模型的创新之作——BERT，在自然语言处理领域引起了极大的关注。2020年，Facebook AI Research推出了ROBERTA模型，它在BERT的基础上做了一些改进，取得了更好的效果。本文将详细介绍ROBERTA模型的原理、优势和劣势，并通过案例和代码的方式帮助读者深入理解。
Unicode编码表
user_920的专栏
09-21 1万+
Unicode编码表/0000-0FFF 图例： Unicode 3.1 Unicode 1.0 Unicode 3.2 Unicode 1.1 Unicode 4.0 Unicode 2.0 Unicode 4.1 Unicode 2.1 未使用
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
hello world
11-08 8200
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
又看不懂报错了？CUDA_LAUNCH_BLOCKING=1让程序 ‘说人话‘
热门推荐
weixin_43301333的博客
11-05 7万+
有时候写代码，尤其是深度学习使用gpu的代码，报错很反人类，十几种类型的track有可能吐出来的报错信息都是一样的，而且大多很抽象。。。 两步让程序说人话： 1. CUDA_LAUNCH_BLOCKING=1 程序开头加入： import os os.environ['CUDA_LAUNCH_BLOCKING'] = '1' 2. 用cpu运行 把.to('cuda')变成.to('cpu')就能获得正常的track ...
加载RoBERTa-wwm的tokenizer和预训练模型的路径是什么
05-16
加载RoBERTa-wwm的tokenizer和预训练模型的路径可以通过以下代码实现： ```python from transformers import RobertaTokenizer, RobertaModel tokenizer = RobertaTokenizer.from_pretrained('hfl/chinese-roberta-wwm-ext') model = RobertaModel.from_pretrained('hfl/chinese-roberta-wwm-ext') ``` 在这里，我们使用 `from_pretrained` 方法加载预训练模型和tokenizer。预训练模型和tokenizer的路径是 'hfl/chinese-roberta-wwm-ext'。在这个路径下，有一个 `config.json` 文件，它描述了模型的配置信息，还有一个 `pytorch_model.bin` 文件，它保存了预训练的模型参数。这两个文件都需要在加载预训练模型时使用。tokenizer还有一个 `vocab.txt` 文件，它保存了将文本转换为token的映射关系。这个文件也需要在加载tokenizer时使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值