BPE和BBPE算法

原创 已于 2025-10-10 19:52:55 修改 · 846 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #Tokenizer

于 2025-10-09 19:54:47 首次发布

一、BPE（Byte-Pair Encoding）

1.基本逻辑

BPE 的核心思想是：

从最小的单位（字符）开始，迭代地合并语料中最频繁出现的相邻符号对（pair），逐步形成更大的子词单元。

这种方式能在 词粒度和字符粒度之间取得平衡，有效缓解 OOV（未登录词）问题。

2.算法流程（两阶段）

训练阶段（Learning Merge Rules）

目标：学习最优的“合并规则”列表。

输入： 大型语料库
输出： 合并规则列表 + 最终词表

步骤：

  1. 预处理：将每个词拆为单个字符，末尾加结束符 </w>
    例：hug → [h, u, g, </w>]

  2. 统计频率：统计每个单词的出现次数。

  3. 统计符号对频率：找出所有相邻符号对（pair）出现的次数。

  4. 选择最频繁的符号对：如 (u, g)。

  5. 合并该符号对：生成新token（如 ug），更新语料。

  6. 重复3~5步，直到：

    • 达到设定的合并次数；

    • 或词表大小达到上限。

例子中，合并顺序为：
(1) u+g→ug
(2) u+n→un
(3) un+</w>→un</w>
(4) h+ug→hug

编码阶段（Tokenization）

目标：使用已学到的规则对新文本进行分词。

步骤：

  1. 将输入单词拆为字符 + </w>；

  2. 按训练时的顺序依次应用合并规则；

  3. 若某条规则可应用则执行合并；

  4. 最终输出子词序列。

例：
bug → [b, u, g, </w>]
合并规则① (u,g)→ug → [b, ug, </w>]
最终Token序列：b, ug, </w>

3.特点与优势

  • 语义合理的子词划分（unhappy → [un, happy]）
  • 平衡词表规模与序列长度
  • 显著减少 OOV 问题
  • 支持泛化能力（见过 happy 就能理解 unhappiness）

4.局限

  • 不同语言（尤其是多字节字符如中文）导致字符集过大；

  • 对罕见字符仍可能出现 <UNK>；

  • 合并规则固定，不具上下文适应性。

二、BBPE（Byte-Level BPE）

1.核心逻辑

BBPE 是 BPE 的 字节级版本。
区别在于：它不是在字符上操作，而是在 UTF-8 字节流上运行。

这样能确保：

任何可编码的文本（包括 emoji、多语言文字）都能被一致地分词。

2.算法思想

  • 初始token单位：256个字节（0–255）；

  • 在字节层面统计相邻字节对的共现频率；

  • 与BPE相同，迭代合并最高频字节对；

  • 每次合并后新建一个虚拟ID（如256, 257, 258...）代表新token；

  • 合并直到词表达到目标大小。

3.算法步骤

训练阶段

  1. 将文本转为 UTF-8 字节序列；

  2. 统计所有相邻字节对出现频率；

  3. 找出频率最高的字节对；

  4. 合并该对，生成新token（如256）；

  5. 更新语料并重复；

  6. 最终得到：基础字节 + 若干合并token。

例子：

hug → [104,117,103] pug → [112,117,103]

(117,103)出现频率最高 → 新token 256 = (117,103)

编码阶段

  1. 输入新词转为字节序；

  2. 按已学习的合并规则贪婪匹配；

  3. 输出token序列。

例子：
bug → [98,117,103]
→ [98,256]
结果：b, ug

4.特点与优势

  • 统一字节词表（256+N），覆盖所有语言
  • 完全无 <UNK>
  • 高度鲁棒：连emoji、符号、稀有字符都能分解
  • GPT系列（GPT-2/3/4）采用该技术

5.BPE vs BBPE 对比总结

特性BPEBBPE
操作单位字符或子词字节
语言支持需语言特化通用（多语言友好）
词表大小小稍大（256+合并数）
OOV风险有无
实现复杂度简单稍高（需编码转换）
典型模型GPT-1GPT-2、GPT-3、GPT-4

三、总结理解

项目BPEBBPE
思想从字符开始，迭代合并高频字符对从字节开始，迭代合并高频字节对
目标得到稳定子词词表得到跨语言统一词表
关键操作统计pair频率 → 合并最高频 → 更新语料同BPE但单位为byte
效果平衡词表与语义完全消除OOV
应用模型GPT-1、RoBERTaGPT-2/3/4、DeepSeek
《从零构建大模型》系列（12）：BPE算法——大语言模型的分词基石
Conan_0728的博客
05-29 1095
BPE算法：现代语言模型的分词核心技术 BPE（Byte Pair Encoding）算法通过动态合并高频字符对的方式，完美解决了传统分词方法在词表大小和OOV问题之间的权衡难题。本文系统性地介绍了BPE的核心原理、实现方法和优化策略，包括： 算法流程解析与可视化演示 从基础到优化的完整实现代码 GPT系列采用的字节级BPE创新 与传统分词算法的性能对比 训练实践中的参数配置与陷阱规避 BPE通过将词汇拆分为可组合的子词单元，显著提升了语言模型处理稀有词和未知文本的能力，已成为GPT等大语言模型的标准分词方
大模型算法工程师经典面试题————LLM大语言模型之Tokenization分词方法（WordPiece，BPE，BBPE)原理
2401_86435672的博客
10-07 1461
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现，全文阅读和实现可能需要45分钟，建议收藏~如果觉得对你有帮助，那就点个赞吧 。 Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表
BPE 算法原理及使用指南【深入浅出】
Suprit's blog
12-21 1万+
本文力争通俗易懂，但由于牵扯的知识较多，我也是参考了很多文章才弄清楚 BPE、Subword（子词）、WordPiece、Tokenize、Vocabulary（词表）这些词之间的关系（吐槽一句全是英文真不友好），请耐心按顺序往下看，一定不会让你失望： 1. 从分词说起 只要您稍微学过一点 NLP，对于分词这个概念肯定不陌生。机器无法直接理解自然语言的文本，我们需要进行文本预处理 ，而最重要的一步就是分词（Tokenize） 。 一些概念 一个完整的分词流程如下： 其中，执行分词的算法模型称为分词器（To
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 7093
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
分词（tokenization）算法之Byte Pair Encoding (BPE) 算法详解（代码实现）
阿正的梦工坊
03-27 2091
BPE 的基本思想可以用一句话概括：从字符级别开始，通过统计频率最高的字符对或子词对，逐步构建一个词汇表，用于表示文本中的单词或子词单元。 这种方法既能保留词的语义信息，又能灵活处理未见过的新词（out-of-vocabulary, OOV），在深度学习模型中表现出色。
BPE(Byte Pair Encoding)算法
越努力 越幸运
01-03 1万+
BPE算法，最早应用于NLP任务出现于《Neural Machine Translation of Rare Words with Subword Units》这篇文章，是一种解决NMT任务中，出现OOV（out-of-vocabulary）的方法。在NMT任务中，如果出现OOV问题，最常见的就是back off to a dictionary。这篇文章使用了BPE算法后，不用退回到字典前就可以继...
bpe bbpe算法 代码
最新发布
10-01
虽然提供的引用中未包含BPE和BBPE算法的具体代码实现，但可给出Python示例代码来展示BPE和BBPE的基本实现思路。 ### BPE算法代码实现 ```python import re from collections import defaultdict def get_stats...
BPE和BBPE
03-29
### BPE 和 BBPE 的概念对比 #### Byte Pair Encoding (BPE) Byte Pair Encoding 是一种子词单元（subword unit）学习算法，广泛应用于自然语言处理中的分词任务。它通过统计字符序列的频率来逐步构建词汇表，从而...
【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码
m0_68116052的博客
11-14 1755
介绍三种主流的tokenization方法，从分词原理、步骤到代码，深刻理解每种分词方法的特点，和适用的模型和任务场景
BPE系列之—— BPE算法
qq_40240102的博客
10-01 6613
序 在看transformer的代码时，看到了这个预处理，记得在最初做cnn情感分类的时候想过如何解决低频词和未登录词的问题，大致看过它，今天正好，趁此机会，学习一下这个算法。 此算法在2016年，由《Neural Machine Translation of Rare Words with Subword Units》提出，应用于机器翻译，解决 集外词（OOV）和罕见词（Rare word）问...
第一篇：BPE算法（附加）
flying_1314的博客
05-30 1512
BPE，byte-pair encoding 字节对编码算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。 该算法在NLP的很多模型中dou ...
【论文速读】BPE算法
weixin_43457608的博客
10-23 755
在NLP 中，2015年Sennrich 通过论文Neural Machine Translation of Rare Words with Subword Units将这个算法使用在生成Tokenizer的词表上，做法是先将每个文本词（Word）拆分成 Char粒度的字母序列，然后通过迭代地合并最频繁出现的字符或字符序列来实现生成Tokenizer最终词表的过程。4.统计每一个连续字节对的出现频率，选择最高频的字符对合并成新的subword；1.准备足够大的训练语料，确定期望的subword词表大小；
自然语言基础1: 文本标记算法 (Tokenization Algorithm) : Byte-Pair Encoding (BPE) 和 WordPiece
disanda的专栏
07-05 1420
BPE最初是用于文本压缩的算法，当前是最常见tokenizer的编码方法，用于 GPT (OpenAI) 和 Bert (Google) 的 Pre-training Model。
BPE（Byte Pair Encoding，字节对编码）
weixin_42136827的博客
12-26 1113
是一种常用的子词分词算法，在自然语言处理（NLP）中用于将文本分割成更小的单位，例如子词或字符序列。它在基于词的分词和基于字符的分词之间提供了一个平衡，能够提升语言模型的效率和性能。通过使用 BPE，模型能够更好地处理罕见词或未见过的词，同时保持较小的词汇表规模，从而提升整体性能和效率。• BPE 在基于字符和基于词的分词之间提供了平衡，能让模型更高效地处理常见词和罕见词。• 与基于字符的分词相比，BPE 减少了词汇表的大小，同时保持了处理罕见词的灵活性。这个过程可以一直重复，直到达到预设的词汇表大小。
BPE算法详细实现思路与代码解析
lrj41781196的博客
05-03 1173
1）目标：将文本拆分为子词（Subword）单元，平衡词汇表大小与未登录词（OOV）问题。2）核心策略：1. 从基础字符（如字母）开始，逐步合并高频相邻字符对，形成更大的子词单元。2. 通过迭代合并，构建一个覆盖常见模式的词表，同时保留处理未知组合的能力。
BPE（Byte Pair Encoding）分词算法
weixin_67868534的博客
07-11 1046
BPE（Byte Pair Encoding）是一种基于统计的子词分词算法，通过合并高频字符对构建词表，平衡了词级和字符级分词的优缺点。其核心流程包括初始化字符词表、统计字符对频率、贪心合并高频对直至达到预设词表规模。BPE分词有效解决了OOV问题，控制词表大小，被广泛应用于GPT、BERT等Transformer模型中。虽然存在贪心策略非最优、缺乏上下文感知等局限性，但仍是现代NLP的基础技术之一，在HuggingFace等框架中都有成熟实现。
tokenizer简介
热门推荐
芳樽里的歌的博客
12-08 2万+
本文介绍了现代NLP中有关tokenizer的内容
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
源泉的小广场
10-21 3368
大模型、数据预处理、词元化、Tokenization、分词、子词分词器、BPE分词、字节级BPE、Byte-Pair Encoding tokenization、GPT-2、特殊词元、合并规则学习
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值