devil_son1234的博客

转载 bpe分词算法的原理

概述：bpe（bytepair encoding），是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。该算法在论文：https://arxiv.org/abs/1508.07909Neural Machine Translation of Rare Words with Subword Units详细介绍训练过程：对于使用子词作为基本单位进行训练的神经机器翻译模型，训练的第一步就是根据语料生成bp..