BPE - Byte Pair Encoding

最新推荐文章于 2024-11-10 11:53:38 发布
最新推荐文章于 2024-11-10 11:53:38 发布
阅读量258 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Haipai1998/article/details/141817080
版权

动机

对于LLM，对text进行tokenize最原始的想法是每个词对应一个编号。但一旦语言变多，token list映射表就会特别大，因此需要一种数据压缩方法去减少token list size

算法

计算相邻字符的组合出现频率，频率最高（假设为xy组合出现n次最多）的组合在一起，x_count-=n,y_count-=n,xy=n，若频率减到零就从表格中删除掉。 算法中止条件可根据token list size 或者 固定算法迭代次数

Conchpeng
关注
Byte-Pair Encoding（BPE）
白马负金羁
01-02 1876
Byte-Pair Encoding（简称BPE）是一种在NLP中使用的压缩算法，它用一小组子词单元表示大词汇量。它广泛用于各种NLP任务，如machine translation, text classification, and text generation。BPE的基本思想是通过迭代地合并文本语料库中最频繁的相邻字节或字符对，直到达到预定的词汇大小。生成的子词单元可用于以更紧凑和高效的方式表示原始文本
机器翻译中分词方法--BPE（Byte Pair Encoding）
weixin_45337615的博客
09-27 3726
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM 使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
BPE (Byte-Pair Encoding) Tokenization
si_ying的博客
06-19 1079
我们其实也可以直接将每个单词作为一个单元来进行后续的训练，但是这样当我们处理新单词的时候就没有办法给出一个合适的表示，可能许多没有见过的所有的字都公用同一个表示。将文本数据集中的所有实例中的选定字符对替换为新创建的词元，从 step 2 进行重复，直到达到预定的词汇表大小或无法进一步合并字符对。然而，作为真人的我们第一次看到生词的时候，并不是对它一无所知的，我们可以通过生词的组成来进行猜测意思。最终生成的词汇表包含了所有 token，包括原始的字符和合并后的 token。如果我们要处理一个没有见过的单词。
BPE（Byte-Pair Encoding）
Czi.的博客
08-02 489
BPE 是一种有效的子词级词元化方法，通过反复合并出现频率最高的字符对来构建子词单元。它能够减少词汇表大小，处理未见过的单词，并提高模型的泛化能力。BPE 被广泛应用于现代 NLP 模型中，是处理文本数据的常用技术。
BPE（Byte-Pair Encoding）简介
qq_52852138的博客
02-20 4073
BPE简介
BPE(Byte Pair Encoding)算法
热门推荐
越努力 越幸运
01-03 1万+
BPE算法，最早应用于NLP任务出现于《Neural Machine Translation of Rare Words with Subword Units》这篇文章，是一种解决NMT任务中，出现OOV（out-of-vocabulary）的方法。在NMT任务中，如果出现OOV问题，最常见的就是back off to a dictionary。这篇文章使用了BPE算法后，不用退回到字典前就可以继...
BPE（Byte Pair Encoding）和BBPE（Byte-Level Byte Pair Encoding）的区别
ningyanggege的博客
10-11 301
BPE：在字符级别操作，适合处理标准字符集的文本。BBPE：在字节级别操作，能够处理多语言文本和特殊字符，适合需要处理多种编码的场景。通过这些例子，可以看到BPE和BBPE在处理文本时的不同之处，以及它们各自的适用场景。
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
源泉的小广场
10-21 1505
大模型、数据预处理、词元化、Tokenization、分词、子词分词器、BPE分词、字节级BPE、Byte-Pair Encoding tokenization、GPT-2、特殊词元、合并规则学习
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 4207
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
BPE(Byte-Pair Encoding )代码实现-数据
01-11
BPE(Byte-Pair Encoding )代码实现-数据
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
03-05
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 522
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 1818
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 863
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 717
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
多媒体信息检索
最新发布
Edward2022的博客
11-10 457
多媒体信息检索：信息检索(Information Retrieval)、文本检索、图像检索、视频检索、多模态学习、跨文本检索
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 540
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
Bert快速入门
qq_36070104的博客
11-06 1163
Python 语言 BERT 入门：让我们一起“吃透”BERT
BPE-Dropout算法的Python实现及应用示例
资源摘要信息:"BPE-Dropout算法是子词分段（Subword Segmentation）技术中的一种创新应用，它在原有的Byte Pair Encoding（BPE）算法基础上增加了一种正则化技术，称为Dropout。这种算法的主要目的是为了防止模型过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值