BPE字符串编码&BBPE(byte-level BPE)

已于 2023-03-04 15:37:03 修改
阅读量1.8k 收藏
点赞数
分类专栏： Paper Basis 文章标签： pytorch
于 2022-07-07 16:45:54 首次发布
原文链接：https://www.cnblogs.com/zjuhaohaoxuexi/p/16412976.html
版权
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT ByteLevelBPETokenizer
段智华的博客
09-19 744
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT ByteLevelBPETokenizer 目录 Step 3: Training a tokenizerStep 4: Saving the files to diskStep 5: Loading the trained tokenizer filesStep 6: Checking resource constraints: GPU and CUDA星空智能对话机器人系列博客 Step 3:
LLM大语言模型之Tokenization分词方法（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现）
Kingpeaceful的博客
09-09 953
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 5846
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
字节级 BPE（Byte-level BPE）
最新发布
彬彬侠的博客
04-07 928
BPE（Byte Pair Encoding） 是一种用于 子词切分（subword segmentation） 的算法，BPE（Byte Pair Encoding） 是一种用于 子词切分（subword segmentation） 的算法。Byte-level BPE（字节级 BPE） 是 BPE 的一种 变种与扩展，区别在于：普通 BPE 是以 字符为基础 开始构建词表；字节级 BPE 是以原始字节序列（0-255）为基本单位进行合并。
Subwords Tokenizer方法介绍: BPE, Byte-level BPE, WordPiece, Unigram, SentencePiece
qq_40886697的博客
10-19 1769
Subwords Tokenizer: BPE, Byte-level BPE, WordPiece, Unigram, SentencePiece。
BPE（Byte Pair Encoding）和BBPE（Byte-Level Byte Pair Encoding）的区别
ningyanggege的博客
10-11 687
BPE：在字符级别操作，适合处理标准字符集的文本。BBPE：在字节级别操作，能够处理多语言文本和特殊字符，适合需要处理多种编码的场景。通过这些例子，可以看到BPE和BBPE在处理文本时的不同之处，以及它们各自的适用场景。
论文阅读：Neural Machine Translation with Byte-Level Subwords
咕噜咕噜
05-30 1534
文章简介： 基于字符，子词，词的机器翻译几乎都是以词频top-k数量建立的词典；但是针对字符相对杂乱的日文和字符较丰富的中文，往往他们的罕见词难以表示； 本文提出采用字节级别的字词BBPE(byte-level BPE)，不会出现oov的词；比纯用字节表示更方便，比只用字符表示又效果更好；当BBPE和BPE性能接近时，词典size只是BPE的1/8； 主要方法： 整体思想是，把文本表示生字节级别的n-gram，而不是常用的字符级别n-gram； 把文本用UTF-8编码，每个字符最多用4字节； 首先把句子变成
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
qq_24428851的博客
08-05 1261
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前LLaMAChatGLM等大模型采用的是基于分词工具实现的分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。常用分词算法简述以中文LLaMA(Atom)为例快速开始BBPEByte-Pair Encoding (BPE) 原理简述Byte-level BPE(BBPE)原理简述使用sentencepiece训练BPE，BBPE。
大模型算法工程师经典面试题————LLM大语言模型之Tokenization分词方法（WordPiece，BPE，BBPE)原理
python122_的博客
08-24 1246
Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表通过词表一一映射进行分词，但如何构建合适的词表呢？在英文语系中，word（词）级别分词实现很简单，因为有天然的分隔符。
随机分词与tokenizer(BPE-＞BBPE-＞Wordpiece-＞Unigram-＞sentencepiece-＞bytepiece)
weixin_36378508的博客
12-08 3699
随机分词与tokenizer(BPE->BBPE->Wordpiece->Unigram->sentencepiece->bytepiece)
byte比较_浅谈Byte-Level BPE
weixin_39931146的博客
11-28 1177
在2019年12月5日的《Neural Machine Translation with Byte-Level Subwords》中，作者提出了一种新的subword算法，称之为BBPE，Byte-level BPE。下文会大概介绍这种算法。为了限制vocabulary的大小，现在的许多模型会采取subwords，甚至是character-based system来构建vocabulary。然而，...
hbase write flow(byte level)
莱布尼兹
08-14 132
  here is a byte flow of mutation level format usage top(abstract,user facing) [Put,Put…] HTable#put(list) encapsulation [HLogKey,WALEdit] WALEdit:kv1,kv2  ||  v [t...
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
源泉的小广场
10-21 2647
大模型、数据预处理、词元化、Tokenization、分词、子词分词器、BPE分词、字节级BPE、Byte-Pair Encoding tokenization、GPT-2、特殊词元、合并规则学习
NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
xiao_ling_yun的博客
03-19 6366
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。 获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
BERT模型入门（14）字节级别的字节对编码（BBPE）
weixin_xxxxx的博客
12-23 303
我们可以观察到，我们将输入单词转换为字节序列。以这种方式，我们将给定文本转换为字节级序列，然后我们应用BPE算法并使用字节级频繁对构建词汇表。但是，为什么要进行字节级BPE而不是字符级BPE呢？字节级别的字节对编码（BBPE）是另一种广泛使用的算法。它的工作原理与BPE非常相似，但是它使用字节级序列而不是字符级序列。现在，我们不是将单词转换为字符序列，而是将其转换为字节级序列。这样，我们将给定的输入转换为字节级序列，而不是字符级序列。而在BBPE中，我们不是将单词转换为字符序列，而是将其转换为字节级序列。
一分钟搞懂的算法之BPE算法
热门推荐
zenRRan的博客
03-08 2万+
昨天总结实验数据分析的时候发现一个机器翻译的其中的一个脚本，其中用到的算法就是BPE算法，刚开始感觉很高大上的，因为总是听到带上算法帽子的东西就觉得666。等自己好好研究研究，网上各种找资料才知道，其实还挺好理解的，所以真的应了那句老话，眼见为实呀。 总说 BPE，（byte pair encoder）字节对编码，也可以叫做digram coding双字母组合编码，主要目的是为了数据压缩...
【大模型理论篇】主流大模型的分词器选择及讨论（BPE/BBPE/WordPiece/Unigram）
源泉的小广场
10-22 3102
大模型、分词器、分词、tokenizer、BPE、BBPE、wordpiece、词元化、unigram、sentencepiece、词粒度、tiktoken、主流大模型分词器、gpt分词器、gpt tokenizer
大模型标记器 Tokenizer之Byte Pair Encoding (BPE) 算法详解与示例
段智华的博客
05-16 2158
词汇表构建：这个阶段采用单词集合及其频率，通过反复合并最频繁的字符对或标记对，逐步构建一组词汇表（标记）。标记化：这个阶段使用构建的词汇表和学习的合并规则来标记化新文本。它通过将新文本分解为词汇表构建阶段识别的标记来实现。在接下来的部分中，我们将更详细地探讨每个阶段。
BPE char byte
12-25
以下是关于BPE（Byte Pair Encoding）和Byte-level BPE的介绍和相关信息： 1. **BPE（Byte Pair Encoding）**是一种基于统计的子词分词方法[^1]。 - 它通过迭代地合并频率最高的符号对（可能是字符或字符序列）来构造词汇表。 - BPE的优点是可以灵活地处理低频词和未知词，同时减少数据稀疏性。 - 在实际中，未知字符会被替换为特殊标记`<unk>`。 2. **Byte-level BPE**是一种特殊形式的BPE。 - 它在字节级别操作，适用于处理多语言或非ASCII字符数据。 - 这种方法不依赖特定编码，适用于如UTF-8编码的二进制数据。 以下是一个简单的BPE编码示例： ```python # 示例：基于字符的BPE编码 from collections import Counter from itertools import islice # 初始化词汇 corpus = ["low", "lower", "newest", "widest"] vocab = {" ".join(word) + " </w>": count for word, count in Counter(corpus).items()} # 合并最高频的符号对 def get_stats(vocab): pairs = Counter() for word, freq in vocab.items(): symbols = word.split() for i in range(len(symbols) - 1): pairs[symbols[i], symbols[i + 1]] += freq return pairs def merge_vocab(pair, vocab): bigram = " ".join(pair) new_vocab = {} for word in vocab: new_word = word.replace(bigram, "".join(pair)) new_vocab[new_word] = vocab[word] return new_vocab # BPE 编码规则构建 for i in range(10): pairs = get_stats(vocab) if not pairs: break best = max(pairs, key=pairs.get) vocab = merge_vocab(best, vocab) print(f"Step {i + 1}: {best}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值