Transformer模型对应的Tokenizer类型

已于 2022-08-25 11:36:21 修改
阅读量1.1k 收藏 2
点赞数 1
分类专栏： NLP Transformer Bert 文章标签： transformer 自然语言处理
于 2022-06-29 13:27:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32275289/article/details/125519921
版权
NLP 同时被 3 个专栏收录
18 篇文章 1 订阅
订阅专栏
Transformer
10 篇文章 0 订阅
订阅专栏
Bert
4 篇文章 0 订阅
订阅专栏

各种Transformer模型对应的Tokenizer类型，
不同的Tokenizer原理可参考：Summary of the tokenizers

这里是图片版，方便浏览：
在这里插入图片描述

这里是text版，方便检索：

ModelType of Tokenizer
BertWordPiece
DPRContextEncoderWordPiece
DPRQuestionEncoderWordPiece
DPRReaderWordPiece
FunnelWordPiece
LxmertWordPiece
ElectraWordPiece
ConvBertWordPiece
LayoutLMWordPiece
RetriBertWordPiece
DistilBertWordPiece
MobileBertWordPiece
SqueezeBertWordPiece
BertJapaneseWordPiece
FlaubertByte-Pair Encoding (BPE)
XLMByte-Pair Encoding (BPE)
HerbertByte-Pair Encoding (BPE)
GPT2Byte-level BPE
DebertaByte-level BPE
RobertaByte-level BPE
BartByte-level BPE
LEDByte-level BPE
LukeByte-level BPE
BlenderbotByte-level BPE
LongformerByte-level BPE
AlbertSentencePiece
BarthezSentencePiece
BartphoSentencePiece
BertGenerationSentencePiece
BigBirdSentencePiece
CamembertSentencePiece
DebertaV2SentencePiece
LayoutXLMSentencePiece
M2M100SentencePiece
MarianSentencePiece
MBart50SentencePiece
MBartSentencePiece
MLukeSentencePiece
MT5SentencePiece
PegasusSentencePiece
ReformerSentencePiece
RemBertSentencePiece
Speech2TextSentencePiece
T5SentencePiece
XLMProphetNetSentencePiece
XLMRobertaSentencePiece
XLNetSentencePiece
NLP_wendi
关注
专栏目录
LLMs之Tokenizer：大模型核心技术—数据预处理技巧之分词算法的简介、常用算法(对比Transformer中的三种分词算法【Unigram→Word Piece→BPE】)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-21 1436
​ LLMs之Tokenizer：大模型核心技术—数据预处理技巧之分词算法的简介、常用算法(对比Transformer中的三种分词算法【Unigram→Word Piece→BPE】)之详细攻略 目录 Tokenizer分词算法的简介 Tokenizer分词算法的实现 Tokenizer分词算法的简介 1、分词算法/Tokenizer分词器【分词+标记/编码】的概述 背景 文本是不能成段送入模型中进行分析的，我们通常会把文本切成有独立含义的字、词或者短语，这个过程叫做toke
测试Transformer模型
最新发布
程序员光剑
07-27 193
测试Transformer模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着深度学习的迅猛发展，Transformer模型
Transformer 理解Tokenizer
weixin_42167712的博客
12-06 8908
文章目录1.tokenizer1.介绍1.1 Subword tokenization1.Byte-Pair Encoding (BPE)2.Byte-level BPE3.wordpiece4.Unigram5.SentencePiece 1.tokenizer 1.介绍 from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name = "distilbert-base-uncased-finet
transformers Tokenizer
qq_41685627的博客
06-20 241
Tokenizer的学习笔记（Tokenizer is all you need）Tokenizer用于数据预处理 - 分词 - 构建词典 - 数据转换 - 数据填充与截断 现在Tokenizer可以做到上面的所有事情。
NLP-transformer学习：（3）transformer的 tokenizer
mikhailbran的博客
07-01 1018
本章节主要是对 transformer 里的tokenizer 进行学习，tokenizer 比较简单，欢迎交流
Transformers 库中的 Tokenizer 使用
wtfloser的博客
06-28 2万+
使用 Transformers 库的 Tokenizer 时发现的一些问题，并给出解决措施。
【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）
HJ_blog
01-14 1万+
【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）
transformers的AutoTokenizer和BertTokenizer
xhsun的博客
06-25 1万+
也就是说AutoTokenizer是又一层的封装，避免了自己写attention_mask以及token_type_ids
【Transformer-Hugging Face手册 07/10】 微调预训练模型
gongdiwudu的专栏
02-07 2318
使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。
什么是 Transformer 模型以及它们如何工作？
安静的软件工程师
01-02 1126
什么是 Transformer 模型以及它们如何工作？
实现高效生成式预训练Transformer模型：基于多模态数据融合和多任务学习的方法
程序员光剑
07-28 1476
传统Transformer模型基于字符级别或者词级的文本，通常只进行了几层网络结构，而在实际生产环境中，任务不同，输入类型也不同，比如序列标注、序列生成等，会遇到不同的输入数据形式。因此，提出了用统一的预训练模型来解决这一问题，预训练可以使得模型具有更好的泛化能力、鲁棒性。通过对大量高质量数据进行预训练，模型可以在目标任务上取得更好的性能。目前，预训练模型有两种流派，一种是seq2seq预训练，另一种是transformer预训练。
Transformers从零到精通教程——Tokenizer
厚积而薄发
08-08 1752
处理后位置会变得不一样，因此需要返回offset_mapping，知道被处理后的每个token是对应于原始的哪些字符；：在做序列标注、信息抽取等任务时，我们获取的原始数据标签是严格对应于原始的文本字符，于是在。（7.快速调用方式有现成的）句子（字符串）转换为编码。
transformers库使用--tokenizer
orangerfun的博客
04-13 7668
在我使用transformers进行预训练模型学习及微调的时候，需要先对数据进行预处理，然后经过处理过的数据才能送进bert模型里，这个过程中使用的主要的工具就是tokenizer。通过与相关预训练模型相关的tokenizer类建立tokenizer，例如，对于Roberta，我们可以使用与之相关的RobertaTokenizer,或者直接通过AutoTokenizer类，这个类能自动的识别所建立的tokenizer是与哪个bert模型相对应。通过tokenizer，它会将一个给定的文本分词成一个token
Transformer数据预处理(Tokenizer)的问题
Mark_Australia的博客
03-15 2671
transformer中预处理问题
Hugging Face实战-系列教程1：Tokenizer分词器（Transformer工具包/自然语言处理）
机器学习与软件工程
07-07 3328
Hugging Face实战-系列教程1：Tokenizer分词器（Transformer工具包/自然语言处理）
基于 pytorch 的手写 transformer + tokenizer
大家好~我是SP_FA~
03-17 2359
纯手工分模块实现一个 transformer 模型
transformer、tokenizer在大语言模型LLM中的作用和示例代码
North_D的博客
02-25 1260
在大语言模型（LLM）中，Transformer架构和Tokenizer（分词器）都是核心组成部分，各自扮演着重要的角色。总的来说，Transformer和Tokenizer在LLM中起着至关重要的作用。Transformer通过其独特的自注意力机制和并行处理能力，为LLM提供了强大的文本理解和生成能力；而Tokenizer则将原始的文本数据转换为模型可以处理的数字格式，为模型的训练和推理提供了便利。
Pytorch Transformer Tokenizer常见输入输出实战详解
热门推荐
yosemite1998的博客
01-04 2万+
Tokenizer简介和工作流程 Transformers，以及基于BERT家族的预训练模型+微调模式已经成为NLP领域的标配。而作为文本数据预处理的主要方法-Tokenizer（分词器）则成为了必不可少的工具。本篇文章以Transformers中使用的AutoTokenizer为例说明其用法。但如果实际场景中使用BERT、ALBERT等预训练模型，原理类似，但需要使用模型相对应的Tokenizer，例如transformers.BertModel对应的Tokenizer是transformers.Ber
加载预训练的Transformer模型代码
05-07
加载预训练的Transformer模型可以使用Hugging Face的Transformers库。以下是一个简单的示例代码，用于加载预训练的Transformer模型并对一些文本进行编码： ```python from transformers import AutoTokenizer, AutoModel # 加载预训练模型和tokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") model = AutoModel.from_pretrained("bert-base-uncased") # 编码文本 input_text = "Hello, how are you?" encoded_input = tokenizer(input_text, return_tensors='pt') output = model(**encoded_input) ``` 在这个示例中，我们使用了`bert-uncased`预训练模型和对应的tokenizer。我们首先使用`AutoTokenizer.from_pretrained`方法加载tokenizer，然后使用`AutoModel.from_pretrained`方法加载模型。最后，我们使用tokenizer对输入文本进行编码，并将编码结果传递给模型进行推理。 注意，这里我们使用了PyTorch框架的`return_tensors='pt'`参数来告诉tokenizer返回PyTorch张量格式的编码结果。如果你使用其他框架，例如TensorFlow，则需要相应地修改参数值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NLP_wendi

谢谢您的支持。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值