BPE分词方法总结

最新推荐文章于 2024-07-12 22:28:26 发布
最新推荐文章于 2024-07-12 22:28:26 发布
阅读量758 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sslfk/article/details/122223004
版权

BPE 剪枝 词频合并 词汇压缩 ngram
关键词由CSDN通过智能技术生成

BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法（将有先后依赖，且词频重合度较高的词合并）

比如，输入的句子中，abc:50,abcd:49，那么就可以在49/50>Threshold时，直接删除abc这个词。这就是剪枝。可以用来减少词集合

参考：https://leimao.github.io/blog/Byte-Pair-Encoding/

会发paper的学渣
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器翻译中分词方法--BPE（Byte Pair Encoding）
weixin_45337615的博客
09-27 3487
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM 使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
ChatGPT模型的训练数据清洗和预处理方法分享.docx
07-23
- **分词算法选择**：根据应用场景及语种特点选择BPE（Byte Pair Encoding）、WordPiece等算法。 - **编码方式确定**：将分词后的词汇映射到数值表示，构建模型输入所需的形式。 - **特殊符号处理**：定义特殊符号如...
bpe分词算法的原理以及在机器翻译中的应用
乱指的指针
06-11 7780
概述： bpe（bytepair encoding），是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。该算法在论文：https://arxiv.org/abs/1508.07909Neural Machine Translation of Rare Words with Subword Unit...
LLM：tokenizer分词器概念
最新发布
qq_43814415的博客
07-12 881
在做nlp时，首先要对文本进行分词，也就是给定一个句子，将其归到词表中的一系列token上，token有对应的数字（token_id）。上图是bert的分词器的json内容，可以看到词表是一个字典，key为token，value为对应的id。像 “[unused6]”:6 这样的条目。这些条目称为“未使用”（unused）标记，它们在模型的原始训练过程中没有特定的用途，但被包括在词汇表中为了可能的未来使用。
AI机器翻译数据预处理步骤
无忧代理IP
05-05 1936
之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。 关...
【AI实战】大语言模型（LLM）有多强？还需要做传统NLP任务吗（分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等）
Zack的博客
06-07 2699
总体看来，LLM 在零样本的情况下， 选择合适的prompt就能实现很多传统NLP任务。LLM 尤其是现在的多模态模型，是真正通向通用人工智能的基石。
《自然语言处理：基于预训练模型的方法》章后习题参考答案
10-28
"自然语言处理：基于预训练模型的方法"章后习题参考答案知识点总结 本资源是《自然语言处理：基于预训练模型的方法》一书的章后习题参考答案，主要涉及自然语言处理领域中的各种概念和技术，包括基于规则和基于机器...
Python库 | tokenizers-0.5.0-cp37-cp37m-manylinux1_x86_64.whl
03-24
`tokenizers` 库提供了多种分词方法，包括基本的空格分隔，以及更复杂的规则和模型驱动的分词策略。例如，它支持Byte-Pair Encoding (BPE) 和 WordPiece，这两种都是广泛用于预训练语言模型如BERT和GPT的分词技术。 ...
CNN/Daily Mail（简称CNN/DM）作为单文本摘要语料库，每篇摘要包含多个摘要句。
07-05
CNN/DM数据集的特性在于它提供了人工撰写的高质量摘要，这些摘要句可以作为模型学习的目标，帮助模型理解如何提取关键信息并生成连贯的总结。 CNN/DM数据集的规模相当大，训练集包含286,817篇新闻文章与对应的摘要...
PyPI 官网下载 | tokenizers-0.10.1rc1.tar.gz
01-17
3. **多模式支持**：支持多种分词模式，包括基于规则的分词、WordPiece、Byte-Pair Encoding（BPE）、SentencePiece等，适应不同的NLP任务需求。 4. **可序列化**：`tokenizers` 可以将训练好的模型保存和加载，...
NLP中的BPE（byte pair encoding）分词算法【subword 切词】
u013250861的博客
06-29 604
2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限制无疑使问题解决得效果大打折扣。对于英语来说，一个单词可能有不同时态，进行时，过去时，一般现在时等，比如look, looking, looks, looked这些单词都表示的意思，但是传统处理手段就是在词表中为这
NLP中的BPE（byte pair encoding）分词算法
qq_43152622的博客
07-22 3475
本篇博客的算法来源的论文是Neural Machine Translation of Rare Words with Subword Units，感兴趣的读者可以自行在Google学术上搜索。 算法提出的问题背景 2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限
子词切分算法
u013453936的专栏
07-01 3419
     最近使用transformer训练机器翻译模型，期间也看了一些关于数据预处理分词的方法，了解了transformer[1]的subtokenizer以及bpe算法。     其中subtokenizer分为形成词汇表与处理训练文本两个部分。     形成词汇表部分，首先通过空格为间隔切分原始文本并统计词语与词频数，其次根据上个步骤的统计形成初始的每个单词或单字词汇表。通过迭代一定的次数不...
深度学习系列28：BPE分词模型
kittyzc的博客
05-17 1778
这个是当前英文分词的标准方法了。 1. 简介 在NLP模型中，输入通常是一个句子，例如I went to New York last week.。传统做法：空格分隔，例如[‘i’, ‘went’, ‘to’, ‘New’, ‘York’, ‘last’, ‘week’]。 BPE算法通过训练，能够把[‘loved’, ‘loving’, ‘loves’]拆分成[“lov”, “ed”, “ing”, “es”]几个部分，这样可以把词的本身的意思和时态分开，有效的减少了此表的数量。算法流程如下： 1）设定最大
tokenizer分词器中的BPE分词方法的原理、样例、代码示例
m0_48923489的博客
03-19 1324
想象一下你正在玩一种叫做“文字乐高”的游戏。在这个游戏中，你有很多小块，每个小块上写着一个字母或汉字。你的任务是用这些小块来构建单词或句子。开始时，你只能用单个字母或汉字的小块。但是游戏规则允许你找出那些经常一起出现的字母或汉字对，然后把它们合并成一个新的、更大的小块。随着游戏的进行，你可以创建越来越多的这种复合小块，从而更快、更高效地构建单词或句子。BPE（Byte Pair Encoding）分词方式就像这个游戏。
BPE 算法原理及使用指南【深入浅出】
人工智能曾小健
02-15 3009
退役ACMer NLP方向硕士在读193 人赞同了该文章本文力争通俗易懂，但由于牵扯的知识较多，我也是参考了很多文章才弄清楚BPE、Subword（子词）、WordPiece、Tokenize、Vocabulary（词表）
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
2401_85325397的博客
06-05 1137
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前`LLaMA`，`ChatGLM`等大模型采用的是基于分词工具`sentencepiece`实现的`BBPE（Byte-level BPE）`分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。
AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化
寻道码路，探索编程之路的无限可能。
04-27 3466
大语言模型训练需要数海量的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。训练数据是影响大语言模型效果以及样本泛化能力的关键因素之一。通常预训练数据需要涵盖各种类型，包括网络数据、图书、论文、百科和社交媒体等，还需要覆盖尽可能多的领域、语言、文化和视角，从而提高大语言模型的泛化能力和适应性。本章将介绍常见的大语言模型训练数据的来源、数据处理、预训练数据对大语言模型影响的分析以及常见开源数据集合等。
python bpe
08-26
BPE是字节对编码（Byte Pair Encoding）的缩写。它是一种学习提供的空格分隔文本的词汇和字节对编码的方法。该方法通常在生产用例中使用。可以使用以下命令行代码进行安装和导入： ``` $ python3 -m pip install --user bpe from bpe import Encoder ``` 引用提供了一个示例，并展示了如何使用BPE进行文本编码。 引用展示了如何使用统计词频的方法来获取文本的词汇表。代码会根据空格将文本分割成单词，并统计每个单词出现的次数。 引用则提示我们可以使用基本的BPE代码进行实践，从最基本的数据预处理开始，到最后实现一句话的简单分词。 所以，通过使用Python中的BPE库，我们可以进行字节对编码，并通过统计词频来获取文本的词汇表。这些方法可以帮助我们实现文本的编码和分词任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [python-bpe：Python的字节对编码！](https://download.csdn.net/download/weixin_42166626/15015483)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [彻底搞懂BPE（Byte Pair Encode）原理（附代码实现）](https://blog.csdn.net/qq_41020633/article/details/123622667)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值