大模型词表扩充必备工具SentencePiece

最新推荐文章于 2024-09-10 20:02:33 发布
最新推荐文章于 2024-09-10 20:02:33 发布
阅读量581 收藏
点赞数
分类专栏： LLM 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131360486
版权
本文介绍了SentencePiece工具，它是一种无监督的文本tokenizer和detokenizer，常用于大模型的词表扩展。SentencePiece支持BPE和Unigram等子词算法，能平衡词表大小和语义表达能力。文章详细讲解了SentencePiece的原理、特性、技术优势，并提供了安装和训练模型的步骤，强调了其在中文词表扩展中的应用价值。
摘要由CSDN通过智能技术生成

背景

随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英双语进行训练，LLaMA主要以英语为主要语言的拉丁语系进行训练，而Bloom使用了46种自然语言、13种编程语言进行训练。

模型 训练数据量 模型参数 训练数据范围 词表大小 分词算法 分词器（Tokenizer）后端
LLaMA 1T～1.4T tokens(其中，7B/13B使用1T，33B/65B使用1.4T) 7B～65B 以英语为主要语言的拉丁语系 3
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】​
u013250861的博客
06-24 1963
如果欲了解扩充词表的具体方法，或者使用自己的词表对LLaMA tokenizer进行扩充，我们提供了代码。由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。我们所使用的在中文通用语料上训练的20K中文词表也一并放出，可以在。更多关于中文词表扩充的动机，可参考。
sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包
05-29
它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ] 句子 C++ 代码可从。 这个包目前包含版本 v0.1.84 这个 R 包具有与 R 包类似的功能...
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
Kingpeaceful的博客
09-09 2007
目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的实现了之前写的各种的分词算法
AI大模型基础：1.分词
m0_63171455的博客
09-10 1175
分词是自然语言处理的基础，分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码
专注计算机视觉全栈知识分享
04-22 1434
上述结果表明，中文Alpaca-13B模型在各项任务中均表现优于7B模型，凸显了模型容量增加的好处。然而，GPT-4并不总是提供准确的分数，所以作者对其评分进行人工检查并在必要时进行调整，手动检查确保分数一致并反映所评估的模型的真实性能。（gpt-3.5-turbo API）中自动获取训练数据，另外这段描述中提供了超参数（hyperparameters）的列表，并在Table 3中提供了微调数据的详细信息。这些模型以其庞大的规模和广泛的训练数据为特征，已经展示出了理解和生成类似于人类文本的强大能力。
Llama2-Chinese项目：2.2-大语言模型词表扩充
NLP工程化
09-16 1792
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese-LLaMA-Alpaca开源项目详细说明了词表扩展[2]。
大语言模型之十二 SentencePiece扩充LLama2中文词汇
shichaog的专栏
09-27 2150
大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多，比如Huggingface Transformer、微软的DeepSpeed、meta的LLama、Pytorch，Google的colab、TensorFlow、BERT，这些公司提供了大量开源的技术工具以及成果。
AI大模型技术方案.docx
04-05
AI大模型技术方案 目录 1. 概述 1 1.1. 编写目的 1 1.2. 背景 1 1.3. 软件设计目标 1 1.4. 术语定义 1 2. 运行环境 2 2.1. 运行软件环境 2 2.2. 运行硬件环境 2 3. 总体技术方案 2 3.1. 预训练模型 2 3.2. 分词算法 ...
基于中文法律知识的大语言模型.zip
08-20
该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、**大规模中文法律语料预训练**，增强了大模型在法律领域的基础语义理解能力。在此基础上，**构造法律领域对话问答数据...
人工智能-大语言模型-基于中文法律知识的大语言模型
最新发布
09-26
该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、...
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
### 大模型概述 大模型通常指的是参数量巨大的深度学习模型，这些模型具有处理复杂任务的能力，例如自然语言处理（NLP）、计算机视觉（CV）等领域。随着计算资源的不断进步以及大规模数据集的可用性增强，大模型的...
Out of Vocabulary处理方法
一位在路上的工程师的博客
01-25 1482
我们在NLP任务中一般都会有一个词表，这个词表一般可以使用一些大牛论文中的词表或者一些大公司的词表，或者是从自己的数据集中提取的词。但是无论当后续的训练还是预测，总有可能会出现并不包含在词表中的词，这种情况叫做Out of Vocabulary。
大模型中常用的分词器Tokenizer学习总结记录与代码实现
Together_CZ的博客
08-09 3129
常用的大模型中常用的分词器Byte Pair Encoding (BPE)、WordPiece、SentencePiece、Transformer分词（如BERT Tokenizer）、Unigram LM算法原理总结记录与优缺点分析并给出来了对应的代码实现，最后给出来理想的分词器应该具备的特性
小白学大模型LLMs：文本分词方法
2201_75499313的博客
12-09 1257
预分词是在处理基于文本的语料库时需要执行的几项任务中的第一项，这些任务通常包括以下的某个子集：预分词分词任务基于单词的分词基于字符的分词子词分词在我们深入研究预分词之前，我们将讨论一些基础知识：单词的定义。什么是单词？一个单词本质上是一系列表示可以是具体物体也可以是抽象概念的符号（这是您一直以来对于单词的认知）。只包含字母字符的单词在不同的分词器中通常被一致地视为一个单词。然而，分词器可能会以不同的方式处理英语中的缩写，特别是那些在空格上进行分词的情况。
大模型中的分词方法探究
qq_29837229的博客
04-01 846
比如，在扩展词表后的模型中，单个汉字倾向于被切成1个token，而在原版LLaMA中可能就需要2-3个才能组合成一个汉字，显著降低编解码的效率。1.扩充中文词汇表：在中文语料库上训练一个中文tokenizer模型，然后将中文 tokenizer 与 LLaMA 原生的 tokenizer 进行合并，通过组合它们的词汇表，最终获得一个合并后的 tokenizer 模型。思路是：SentencePiece提出的目的是在给定词汇表大小的前提下，最大化词表信息编码（词频+多样性）subword编码。
随机分词与tokenizer(BPE-＞BBPE-＞Wordpiece-＞Unigram-＞sentencepiece-＞bytepiece)
weixin_36378508的博客
12-08 2672
随机分词与tokenizer(BPE->BBPE->Wordpiece->Unigram->sentencepiece->bytepiece)
大模型数据预处理---词元化（分词）
weixin_43961909的博客
05-23 1784
其中，出现频率最高的是 “oo”，出现了 48 次，因此，学习到的第一条合并规则是（“o”, “o”）→ “oo”，这意味着“oo”将被添加到词汇表中，并且应用这一合并规则到语料库的所有词汇。语料库：（“l”“oo”“p”，15），（“p”“oo”“l”，10），（“l”“oo”“t”，10），（“t”“oo”“l”，5），（“l”“oo”“t”“s”，8）语料库：（“loo”“p”，15），（“p”“oo”“l”，10），（“loot”，10），（“t”“oo”“l”，5），（“loot”“s”，8）
自然语言处理1 -- 分词
热门推荐
谢杨易的博客
08-14 2万+
1 概述 英文语句使用空格将单词进行分隔，除了某些特定词，如how many，New York等外，大部分情况下不需要考虑分词问题。但中文不同，天然缺少分隔符，需要读者自行分词和断句。故在做中文自然语言处理时，我们需要先进行分词。 2 中文分词难点 中文分词不像英文那样，天然有空格作为分隔。而且中文词语组合繁多，分词很容易产生歧义。因此中文分词一直以来都是NLP的一个重点，也是一个难点。...
sentencepiece用textcnn模型情感分析
01-08
SentencePiece是一种用于分词和构建词表的工具，而TextCNN是一个用于文本分类的模型。通过将二者结合，我们可以实现利用SentencePiece构建词表并使用TextCNN进行情感分析任务。 首先，我们使用SentencePiece工具对输入的文本进行分词处理。这个工具可以将句子切分为子词，并且可以根据文本的特点和需求进行自定义调整，如合并相似的词或将一些常用的词组合并为一个词。通过这一步骤，我们可以将文本转换为子词序列表示。 然后，我们将生成的子词序列作为输入，构建一个TextCNN模型。TextCNN模型由多层的卷积神经网络组成，通过卷积操作和池化操作来提取文本的特征。在每个卷积层中，我们可以设定多个卷积核，每个卷积核可以识别不同的特征模式。随后，将得到的特征进行池化操作，得到文本的固定长度的表示。最后，通过全连接层和softmax函数，将固定长度的表示映射为情感类别的概率分布。 在训练过程中，我们使用已标记好的情感类别的训练数据进行模型训练，并通过反向传播算法来更新模型的参数。在测试过程中，我们将待分析的文本输入到TextCNN模型中，利用模型输出的概率分布来判断文本的情感类别。 通过将SentencePiece和TextCNN相结合，我们可以构建一个能够处理分词和情感分析任务的模型。这样的模型在处理未知词汇和不规范文本时具有一定的鲁棒性，并且能够有效利用文本中的局部特征进行情感的判断。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值