Subwords Tokenizer方法介绍: BPE, Byte-level BPE, WordPiece, Unigram, SentencePiece

已于 2023-01-10 14:17:54 修改
阅读量1k 收藏 3
点赞数 1
分类专栏： Transformers 文章标签： 人工智能 深度学习 transformer
于 2022-10-19 15:39:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40886697/article/details/127407757
版权

Byte-Pair Encoding (BPE) 1

出发点

  • 把每一个单词加入词表的话导致词表过大，因此可以把word切分成subwords加入词典。

原理

  • 先进行pre-tokenization, 即通过空格得到单词，并且统计词频。
  • 创建一个base vocabulary包含所有单词中的符号（字符）。之后迭代方式地学习相邻两个符号结合的规则（所以叫做Byte-pair，字节对），每次结合选择频数最高的一对。
  • 具体参考文章开头的链接。

应用

  • GPT: 词表大小：40,478（478个 base characters + 40,000个结合的字符）

Byte-level BPE2

出发点

  • BPE中包含所有单词中的符号的base vocabulary可能很大，比如unicode characters包含了不同语言的字符，是很大的。

原理

  • 使用字节（bytes）而不是字符作为base vocabulary。一个字节是8位，一共256种可能，这样base vocabulary的大小就减小到了256。
  • 之后的迭代操作和BPE一样，要学习相邻符号的结合规则。

应用

  • GPT2： 此表大小：50257 （256 base vocabulary + 1个end-of-text token + 50000 迭代/merge次数）

WordPiece3

原理

  • 关键思想：先将所有字符(characters)作为base vocabulary，然后逐步学习结合字符的规则。相较于BPE每次结合符号选取频数最高的一对，WordPiece选取能够最大化训练数据集似然的一对。
  • 例如：字符“u”和“g”，他们融合成一对“ug”之后的数据集的似然除以“u”和“g”分开时候的似然的比值相较于其他字符结合来说最大。
  • Intuition： 相较于BPE，WordPiece验证融合某一对符号是值得的。

应用

  • BERT，DistlBERT，Electra。

Unigram 4

原理

  • 相较于BPE从字符级别构建base vocabulary，Unigram相反，它先用pre-tokenization（比如空格切分）处理之后的所有词作为初始化的base vacobulary，然后逐步地裁剪符号，从而得到一个较小的词典。
  • 在每一步，Unigram都定义个训练集合的loss（如log-likelihood），然后它计算去除一个符号（字典中的一个token）之后整体loss的下降，最终把10%或者20%的那些loss下降最多的符号从词典中去除。直到词典大小符合预期。
    ###应用
  • 对于transformers的库来说，没有模型直接使用Unigram，但是它一般会和SentencePiece一起使用

SentencePiece 5

出发点

  • 上述Tokenization方法都存在的一个问题：都假设输入的文本的pre-tokenization都利用空格来切分字词。但是并不是所有的语言都使用空格来切分字词。

原理

  • 解决思路就是把整个输入作为输入流，即包含了空格。
  • 之后再使用BPE或者Unigram的算法来构建词典。
  • 所以SentencePiece使用的时候Tokenize的结果包含空格的信息，用_来表示。
from transformers import XLNetTokenizer
tokenizer = XLNetTokenizer.from_pretrained("xlnet-base-cased")
tokenizer.tokenize("Don't you love 🤗 Transformers? We sure do.")
输出：["▁Don", "'", "t", "▁you", "▁love", "▁", "🤗", "▁", "Transform", "ers", "?", "▁We", "▁sure", "▁do", "."]

应用

  • 在transformers库中的所有用SentencePiece的模型中都结合使用了Unigram。
  • 包括 ALBERT，XLNet，Marian，T5。

References

  1. https://arxiv.org/abs/1508.07909 ↩︎

  2. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf ↩︎

  3. https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/37842.pdf ↩︎

  4. https://arxiv.org/pdf/1804.10959.pdf ↩︎

  5. https://arxiv.org/pdf/1808.06226.pdf ↩︎

ShawnXuu
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
令牌生成器：具有BPE和SentencePiece支持的快速且可自定义的文本令牌生成库
01-30
分词器 Tokenizer是针对C ++和Python的快速，通用且可自定义的文本标记化库，具有最小的依赖性。 总览 默认情况下，令牌生成器基于Unicode类型应用简单的令牌化。 可以通过几种方式自定义： 可逆令牌化通过注释标记或注入修饰符来标记关节或空间。 子词标记化支持培训和使用BPE和SentencePiece模型。 高级文本分割分割数字，区分大小写或更改字母，分割所选字母的每个字符等。 案例管理小写的文本和返回的大小写信息作为单独的功能或插入大小写修饰符标记。 保护序列可以使用特殊字符｟和protected防止序列进行分词。 请参阅以了解受支持功能的概述。 使用 令牌生成器可以在Python，C ++或命令行中使用。 每种模式都公开相同的选项集。 Python API pip install pyonmttok >> > import pyonmttok >> > tokenizer = pyonmttok . Tokenizer ( "conservative" , joiner_annotate = True ) >> > tokens , _ = tok
arch1-tokenizer-CuldesacDude：arch1-tokenizer-CuldesacDude由GitHub Classroom创建
02-25
实验项目1：构建令牌生成器 一个相关的演示程序在目录“ sortArgDemo”中。 鼓励所有人在尝试此项目之前先全面了解它。 所有工作都应该是你自己的工作。 请访问以获取有关课程诚信政策的完整详细信息。 该项目的原型源代码位于名为src的目录中。 您应该在该目录中添加和修改源代码，并且这些更改应在截止日期之前推送到您的私有Github存储库。 所有.c和.h源文件 一个Makefile，其默认生产将生成该项目，而其clean生产将消除在生成项目时创建的所有文件。 简短的自述文件，记录了程序的所有非显而易见的方面。 例如，您可能想要描述它的工作原理，运行方式以及用户应了解的所有错误或特质。 学习成果 完成本实验的学生将展示出以下能力： 在bash下的程序开发中使用命令行工具（cp，mv，rm，mkdir，cd，emacs，cc，make，git） 开发和调试C程序，包括-指针算
tokenizer分词器中的BPE分词方法的原理、样例、代码示例
最新发布
m0_48923489的博客
03-19 983
想象一下你正在玩一种叫做“文字乐高”的游戏。在这个游戏中，你有很多小块，每个小块上写着一个字母或汉字。你的任务是用这些小块来构建单词或句子。开始时，你只能用单个字母或汉字的小块。但是游戏规则允许你找出那些经常一起出现的字母或汉字对，然后把它们合并成一个新的、更大的小块。随着游戏的进行，你可以创建越来越多的这种复合小块，从而更快、更高效地构建单词或句子。BPE（Byte Pair Encoding）分词方式就像这个游戏。
rust-tokenizers:Rust-tokenizer为现代语言模型提供了高性能的标记器，包括WordPiece，字节对编码（BPE）和Unigram（SentencePiece）模型
04-30
防锈剂 Rust-tokenizer为现代语言模型提供了高性能的标记器，包括WordPiece，字节对编码（BPE）和Unigram（SentencePiece）模型。 这些标记器用于板条箱。 包括用于最新变压器架构的各种标记器，包括： 句子（会标模型） 伯特 阿尔伯特 DistilBERT 罗伯塔 GPT GPT2 先知网 CTRL键 飞马座 基于单词的分词器包括单线程和多线程处理。 字节对编码令牌生成器支持共享缓存的使用，并且只能作为单线程令牌生成器使用。使用令牌生成器需要手动下载令牌生成器所需的文件（词汇表或合并文件）。 这些可以在找到。 句子模型加载与相同的.model原型文件 使用示例（Rust色） let vocab = Arc :: new (rust_tokenizers :: BertVocab :: from_file ( & vocab_path));
Rust-tokenizer 为现代语言模型提供高性能标记器，包括 WordPiece、字节对编码 (BPE) 和 Unigram (SentencePiece) 模型
06-28
Rust-tokenizersRust-tokenizer 为现代语言模型提供高性能的分词器，包括 WordPiece、字节对编码 (BPE) 和 Unigram (SentencePiece) 模型。这些标记器用于rust-bert crate。包括用于最先进转换器架构的广泛标记器，包括：句子片段（unigram 模型）伯特艾伯特蒸馏器罗伯塔GPTGPT2先知网控制基于词条的分词器包括单线程和多线程处理。字节对编码标记器倾向于使用共享缓存，并且仅可用作单线程标记器使用标记器需要手动下载标记器所需的文件（词汇表或合并文件）。这些可以在Transformers 库中找到。句子模型加载与C++ 库相同的.model proto 文件用法示例（Rust）let vocab= Arc::new (rust_tokenizers:: BertVocab::from_file (& vocab_path));let test_sentence= Example::new_from_string ("This is a sample sentence to be tokenized" );l
sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包
05-29
句子 这个存储库包含一个 R 包，它是一个围绕句子 C++ 库的 Rcpp 包装器 句子是一个无监督的分词器，它允许使用字节对编码和 Unigrams 执行文本分词 它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ] 句子 C++ 代码可从。 这个包目前包含版本 v0.1.84 这个 R 包具有与 R 包类似的功能 特征 R 包允许您 构建字节对编码 (BPE)、Unigram、Char 或 Word 模型 应用模型对文本进行编码 应用模型将 id 解码回文本 下载基于维基百科的预训练句子模型 安装 对于普通用户，从本地 CRAN 镜像install.packages("sentencepiece")安装包
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 2031
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
BPE字符串编码&BBPE(byte-level BPE)
Home to come
07-07 1418
https://www.cnblogs.com/zjuhaohaoxuexi/p/16412976.html
NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
xiao_ling_yun的博客
03-19 2682
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。 获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
huggingface Tokenizers 官网文档学习：分词算法分类与五个子词级分词算法
木尧大兄弟
08-12 1476
首先介绍三大类分词算法：词级、字符级、子词级算法；然后介绍五种常用的子词级（subword ）算法：BPE、BBPE、WordPiece、Unigram、SentencePiece。
CS224N-子词模型（subwords）
qlzy的博客
05-10 1025
文章目录一、语言学知识（linguistics）语音学与音韵学形态学（Morphology）人类语言书写系统二、Subword ModelByte Pair EncodingWord piece modelSentence piece model三、Subword-level language model模型实现：《Character-Aware Neural Language Models》四、Hybrid NWT五、Character-level 说明：本博文用于记录学习斯坦福CS224N的相关笔记，其
WordPiece和SentencePiece区别
hema12138的博客
01-13 686
BERT（Bidirectional Encoder Representations from Transformers）模型的分词器通常使用子词级别的分词方法，其中最常用的分词器包括 WordPiece 和 SentencePiece。这些分词器用于将文本分成子词（subwords）或标记（tokens），以满足BERT的输入要求。
BPE、WordPiece和SentencePiece
人工智能曾小健
09-25 235
训练时，计算loss的公式为：假设训练文档中的所有词分别为，而。
高效文本分类工具：fastText
Neways的博客
11-23 1183
fasttext定义结构与CBOW结构的不同点输入层改进: subword 定义 fasttext是一个单隐层的线性分类器，结构上是CBOW的一个简单改进，将输出由中心词改为了分类标签，输入改为整个句子的n-gram(分词）。 关于CBOW结构可以参见之前的文章词嵌入模型word2vec 结构 与CBOW结构的不同点 不同点包括： 输入层不再是滑动窗口的上下文单词，而是整个句字的分词（包括分字和字符层级的分词） 输出层不再是中心词，而是分类标签，意味着输出矩阵不再是V∗DV* DV∗D，而是N∗DN *
Tokenizer/分词器：BPE（GPT、Roberta）；WordPiece（Bert、Electra）；SentencePiece（AlBert、T5）
u013250861的博客
06-16 418
分词器：BPE（GPT、Roberta）；
byte比较_浅谈Byte-Level BPE
weixin_39931146的博客
11-28 1036
在2019年12月5日的《Neural Machine Translation with Byte-Level Subwords》中，作者提出了一种新的subword算法，称之为BBPE，Byte-level BPE。下文会大概介绍这种算法。为了限制vocabulary的大小，现在的许多模型会采取subwords，甚至是character-based system来构建vocabulary。然而，...
BERT，XLNET分词方法bpe，unigram等介绍
彭伟的博客
12-20 5150
BERT,XLNET等分词方法 先给一个结论吧，BERT，GPT使用的是wordpiece的分词方法，XLNET和transformer-xl使用的是sentencepiece的切分方法。 概述 在NLP中，分词的形式越来越多，从最开始的字切分，词切分，发展到更细粒度的BPE，以及跨语言的sentencepiece等等的切分方法。 子词层面的切分方法是一种有效的文本切分方法，该方法可以有效的减小词表大小，并且让所有的词都能够被覆盖，并且使得且分开的子词都携带一定的含义，这就有效的解决了当前机器阅读文本所遇到
subword系列算法
u013596454的博客
09-28 705
1. 前言  nlp领域目前已经发展到一个非常高的层次了，这个层次不仅仅是模型和数据方面，还涌现出了很多非常巧妙的trick，这篇文章就记录一下关于tokenization方面的工作。  所谓的tokenization其实就是将文本切分成words或者subwords，然后转成ids以便模型处理。最初的nlp分词非常简单，对于英语类以空格分割的语言来说，简单的以空格进行分割就行，不过这样简单的处理还存在一些问题，比如说*“Don’t you love ???? Transformers? We sure d
BERT 中的tokenizer和wordpiece和bpe（byte pair encoding）分词算法
枪枪枪的博客
09-28 8676
文章目录一、BERT 中的tokenizer和wordpiece和bpe（byte pair encoding）分词算法1.1 tokenizer 分词器wordpiece（暂且称为 词块）对于英文词语对于中文1.2 谷歌中文预训练语言模型，vocab.txt词包（词典）1.3 bpe（byte pair encoding，字节对编码）分词算法资料理解bpebpe分词算法的原理以及在机器翻译中的应用机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门理解tok
def tokenizer(text): ---> 45 text = [jieba.lcut(document.replace('\n', '')) for document in text] 46 return text AttributeError: 'numpy.ndarray' object has no attribute 'replace'
06-08
这个错误是因为你传递给 `tokenizer` 函数的 `text` 参数是一个 `numpy.ndarray` 对象，而这个对象没有 `replace` 方法，所以不能调用 `document.replace('\n', '')` 来替换掉文本中的换行符。你需要先将 `numpy.ndarray` 对象转换为字符串，或者使用 `numpy.char` 模块中的函数来处理字符串。例如，你可以使用 `numpy.char.replace` 函数来替换掉文本中的换行符，代码如下： ```python import numpy as np import jieba def tokenizer(text): text = np.char.replace(text, '\n', '') text = [jieba.lcut(document) for document in text] return text ``` 这样就可以避免上述错误了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值