tokenization 的两种方式 BEP 和wordPiece 的区别

最新推荐文章于 2025-04-16 23:50:01 发布
最新推荐文章于 2025-04-16 23:50:01 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： NLP 文章标签： 深度学习 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baoyan2015/article/details/111309204
版权

1、BEP（Byte Pair Encoding:）:

BPE 不断的迭代将出现频率最高的字符或字符序列进行合并

 

2、wordPiece

根据语言模型进行合并，它是从所有可能的subword单元中，选择一个subword单元加入语言模型后，如果该单元能最大程度地增加训练数据LM概率，则将该单元作为新的单元

NLP 中的Tokenizer：BPE、BBPE、WordPiece、UniLM 理论
u013250861的博客
11-19 209
总的来说，BBPE效果与BPE相当，从发明时即为了解决中文、日本编码词表过大的问题，因此在多语言编码上天然具有词表小的优势，但同时导致每种语言不一定是长度最优的编码方式，必然从长度上会增加推理计算的开销。另外UTF-8编码可以在不同语言之间字节编码可能具有一定互通性，可以实现即使字符集不重叠，也可以通过子节层面的共享来实现良好的迁移。有利于模型翻译能力提升。
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AI天才研究院
06-24 1378
ChatGPT采用了Transformer架构和自回归语言模型。给定一段文本序列,模型通过自注意力机制提取上下文信息,并利用Masked Language Model(MLM)和Next Sentence Prediction(NSP)进行预训练。在应用阶段,模型根据输入的Prompt生成相应的文本响应。本文全面介绍了 ChatGPT 的发展历程、技术原理和应用实践。首先,我们回顾了从 GPT-1 到 GPT-4 的演进过程,阐述了 ChatGPT 的核心概念。
WordPiece 详解与示例
最新发布
kcarly的专栏
04-16 1148
WordPiece 是一种子词分词算法，由谷歌于2012年提出，最初用于语音搜索系统，后广泛应用于机器翻译和BERT等预训练模型。其核心思想是将单词拆分为更小的子词单元（如词根、前缀/后缀），从而解决传统分词方法面临的词表过大和OOV问题。
wordpiece
yanglee0
06-28 928
一、
BPE、WordPiece、UnigramLM、SentencePiece的Tokenizer介绍
AI前沿技术的分享！
02-11 775
在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。tokenize有三种粒度：word/subword/char最常用的三种tokenize算法：BPE（Byte-Pair Encoding)，WordPiece和SentencePieceBPE，即字节对编码。其核心思想在于将最常出现的子词对合并，直到词汇表达到预定的大小时停止。BPE是一种基于数据压缩算法的分
WordPiece
biubiubiu888的博客
12-22 1875
选自https://github.com/google-research/bert中的tokenization.py代码  class WordpieceTokenizer(object): """Runs WordPiece tokenziation.""" def __init__(self, vocab, unk_token="[UNK]", max_input_chars_p...
HuggingfaceNLP笔记6.6WordPiece tokenization
HITzwx的博客
04-29 244
WordPiece是Google为预训练BERT开发的分词算法，它被应用于基于BERT的Transformer模型，如DistilBERT、MobileBERT、Funnel Transformers和MPNET等。它与BPE在训练方法上相似，但实际的分词过程有所不同。💡 这部分深入讲解WordPiece，甚至会展示完整的实现。如果你只想了解分词算法的概要，可以跳到最后。
【自己创建分词器tokenizer】（1）——WordPiece tokenizer
qq_46634315的博客
08-12 1529
【自己创建分词器】WordPiece tokenizer
大模型算法工程师经典面试题————LLM大语言模型之Tokenization分词方法（WordPiece，BPE，BBPE)原理
2401_86435672的博客
10-07 1305
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现，全文阅读和实现可能需要45分钟，建议收藏~如果觉得对你有帮助，那就点个赞吧 。 Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表
抱抱脸-分词器WordPiece WordPiece tokenization
邹九的个人博客
02-04 277
WordPiece分词和bpe分词类似，需要预分词，还需要一个基础的词典，基础的词典数量少，一般包括了基础的英文字母，也就是根据每个前后分词对，算出(分词对频次/(前一个频次x后一个频次))最大的哪个，计算的公式也就是 score = (freq_of_pair) / (freq_of_first_element × freq_of_second_element)，做融合加入到词典内，融合以后就可以接着算除法的商，然后不停的融合加入到词典，直到词典的大小满足要求。
bert-tokenization代码学习
borayolo的博客
07-04 2713
# coding=utf-8 # Copyright 2018 The Google AI Language Team Authors. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the ...
Hugging Face Course-Diving in 抱抱脸 Tokenizers library （WordPiece tokenization & Unigram tokenization）
Raki_J的博客
03-17 749
WordPiece tokenization wordpiece是bert的分词算法，跟BPE很像，但实际的标记化工作是不同的 Training algorithm ⚠️ Google never open-sourced its implementation of the training algorithm of WordPiece, so what follows is our best guess based on the published literature. It may not be .
【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码
m0_68116052的博客
11-14 1468
介绍三种主流的tokenization方法，从分词原理、步骤到代码，深刻理解每种分词方法的特点，和适用的模型和任务场景
WordPiece词表的创建
bigcrab的博客
12-06 1930
wordpiece的目的是：通过考虑单词内部构造，充分利用subwords的优势，在把长word转化为短word提高文字的灵活性以及提高word转化的效率这两处之间取得一个良好的平衡；前者会增加词表大小，后者会减少词表大小。
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
deephub
01-17 4702
标记化管道是语言模型的关键部分，在决定使用哪种类型的标记器时应该仔细考虑。虽然Hugging Face为了我们处理了这部分的工作，但是对标记方法的深刻理解对于微调模型和在不同数据集上获得的性能是非常重要的。以下是本文引用。
wordpiece和sentencepiece
zh515858237的专栏
11-20 684
https://zhuanlan.zhihu.com/p/75271211
WordPiece、BPE详解及代码
you_jinpeng的博客
08-13 9210
1.BPE是干什么用的？ WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。 WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。 “loved”,“loving”,“loves"这三个单词。其实本身的语义都是“爱”的意思，但是如果我们以单词为单位，那它们就算不一样的词，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。 BPE算法通过训练，能够把上面的3个单词拆分成"lov”,“ed”,“i
一文读懂BERT中的WordPiece
weixin_30388677的博客
01-04 882
1. 前言 2018年最火的论文要属google的BERT，不过今天我们不介绍BERT的模型，而是要介绍BERT中的一个小模块WordPiece。 2. WordPiece原理 现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。 Word...
Word Piece Model (WPM) 笔记
月夜长影
11-13 1889
介绍 在翻译或者其他NLP问题中，词表大小有限制，为了解决有些词不在词表中（OOV），一个常用的方法是使用sub-word单元来构建词表示，这样未出现的词也可以用这些sub-wrod单元进行表示，如Byte Pair Encoding(BPE)，Word Piece Model(WPM)。 BPE论文: Neural machine translation of rare words with s...
Tokenize实现wordpiece
04-02
### WordPiece 算法的 Tokenization 实现 WordPiece 是一种流行的分词方法，广泛应用于自然语言处理领域。它通过构建一个有限的词汇表来表示输入文本，并动态学习高频子词单元以优化性能。以下是基于 `tokenization` 的 WordPiece 算法实现的核心逻辑。 #### 初始词汇表的构造 为了初始化 WordPiece 的词汇表，可以采用类似于 Unigram 模型的方法[^2]。具体来说，在语料库中提取所有可能的子字符串作为候选词汇项。这些子字符串包括单个字符以及连续的多个字符组合。例如，对于单词 `"cats"`，会生成如下子字符串集合： ```plaintext ['c', 'a', 't', 's', 'ca', 'at', 'ts', 'cat', 'ats'] ``` 此过程确保了词汇表覆盖尽可能多的语言结构模式。 #### 动态更新词汇表 在实际应用中，初始词汇表通常过大而无法高效存储或检索。因此，需要逐步缩减其规模至目标大小。这一阶段涉及频繁统计并合并高概率共现的字符对。利用正则表达式可以在整个语料库范围内完成这种替换操作[^1]。每次迭代都会重新计算新的频率分布，并选择最佳的合并方案。 下面是一个简单的 Python 示例代码展示如何模拟上述流程： ```python import re from collections import defaultdict, Counter def get_stats(vocab): pairs = defaultdict(int) for word, freq in vocab.items(): symbols = word.split() for i in range(len(symbols)-1): pairs[symbols[i], symbols[i+1]] += freq return pairs def merge_vocab(pair, v_in): v_out = {} bigram_pattern = re.escape(' '.join(pair)) p = re.compile(r'(?<!\S)' + bigram_pattern.replace(' ', '') + r'(?!\S)') for word in v_in: w_out = p.sub(''.join(pair), word) v_out[w_out] = v_in[word] return v_out # 初始化词汇表 (假设已经预处理过) vocab = {'l o w </w>': 5, 'l o w e s t </w>': 2, 'n e w e s t </w>': 6} num_merges = 10 # 设定最大合并次数 for i in range(num_merges): pairs = get_stats(vocab) best_pair = max(pairs, key=pairs.get) # 找到最常出现的一对 if not pairs or not best_pair: break vocab = merge_vocab(best_pair, vocab) print("最终词汇表:", list(vocab.keys())) ``` 该脚本定义了一个基础框架用于演示 WordPiece 的工作方式。注意这只是一个简化版本，真实场景下的实现还需要考虑更多细节如特殊标记符 `<unk>` 或者更复杂的冲突解决策略等[^3]。 #### 总结 以上介绍了通过 tokenization 来实现 WordPiece 算法的主要步骤及其背后的理论依据。这种方法能够有效平衡内存占用与表达能力之间的关系，成为现代 NLP 工具包的重要组成部分之一[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

samoyan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值