大模型词表扩充必备工具SentencePiece

最新推荐文章于 2023-12-08 17:58:01 发布
最新推荐文章于 2023-12-08 17:58:01 发布
阅读量509 收藏
点赞数
分类专栏： LLM 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131360486
版权

背景

随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英双语进行训练，LLaMA主要以英语为主要语言的拉丁语系进行训练，而Bloom使用了46种自然语言、13种编程语言进行训练。

模型 训练数据量 模型参数 训练数据范围 词表大小 分词算法 分词器（Tokenizer）后端
LLaMA 1T～1.4T tokens(其中，7B/13B使用1T，33B/65B使用1.4T) 7B～65B 以英语为主要语言的拉丁语系 32000 BBPE 基于SentencePiece工具实现
ChatGLM-6B 约 1T tokens 6B 中英双语 130528 BBPE 基于SentencePiece工具实现
Bloom
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】​
u013250861的博客
06-24 1628
如果欲了解扩充词表的具体方法，或者使用自己的词表对LLaMA tokenizer进行扩充，我们提供了代码。由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。我们所使用的在中文通用语料上训练的20K中文词表也一并放出，可以在。更多关于中文词表扩充的动机，可参考。
sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包
05-29
它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ] 句子 C++ 代码可从。 这个包目前包含版本 v0.1.84 这个 R 包具有与 R 包类似的功能...
bert-japanese:带有SentencePiece的BERT，用于日语文本
05-10
带有SentencePiece的BERT用于日语文本。 这是带有SentencePiece令牌生成器的日语BERT模型的存储库。 要将此存储库与所需的和一起克隆，请： git clone --recurse-submodules https://github.com/yoheikikuta/bert-japanese 预训练模型 我们为日语文本提供了预训练的BERT模型和SentencePiece模型。 训练数据是来自的日本Wikipedia语料库。 请将以下google驱动器中的所有对象下载到model/目录。 训练期间的损失函数如下（在1M步后，损失函数发生了巨大变化，因为max_seq_length从128更改为512 ）： ***** Eval results ***** global_step = 1400000 loss = 1.3773012 mask
基于中文法律知识的大语言模型.zip
08-20
基于中文法律知识的大语言模型.zip Repo for LaWGPT, Chinese-Llama tuned with Chinese Legal knowledge. LaWGPT 是一系列基于中文法律知识的开源大语言模型。 该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、**大规模中文法律语料预训练**，增强了大模型在法律领域的基础语义理解能力。在此基础上，**构造法律领域对话问答数据集、中国司法考试数据集进行指令精调**，提升了模型对法律内容的理解和执行能力。
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
u013250861的博客
07-11 2049
SentencePiece 是一种无监督的文本 tokenizer 和 detokenizer，主要用于基于神经网络的文本生成系统，其中，词汇量在神经网络模型训练之前就已经预先确定了。SentencePiece 实现了subword单元（例如，字节对编码 (BPE)）和 unigram 语言模型），并可以直接从原始句子训练字词模型(subword model)。这使得我们可以制作一个不依赖于特定语言的预处理和后处理的纯粹的端到端系统。本文主要给大家讲解了SentencePiece的基本原理及使用方法。
sentencepiece原理和使用
热门推荐
xgli的博客
11-30 1万+
sentencepiece在中文上相当于分词+BPE
Llama2-Chinese项目：2.2-大语言模型词表扩充
NLP工程化
09-16 1471
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese-LLaMA-Alpaca开源项目详细说明了词表扩展[2]。
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
Kingpeaceful的博客
09-09 1057
目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的实现了之前写的各种的分词算法
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码
专注计算机视觉全栈知识分享
04-22 1307
上述结果表明，中文Alpaca-13B模型在各项任务中均表现优于7B模型，凸显了模型容量增加的好处。然而，GPT-4并不总是提供准确的分数，所以作者对其评分进行人工检查并在必要时进行调整，手动检查确保分数一致并反映所评估的模型的真实性能。（gpt-3.5-turbo API）中自动获取训练数据，另外这段描述中提供了超参数（hyperparameters）的列表，并在Table 3中提供了微调数据的详细信息。这些模型以其庞大的规模和广泛的训练数据为特征，已经展示出了理解和生成类似于人类文本的强大能力。
大语言模型之十二 SentencePiece扩充LLama2中文词汇
shichaog的专栏
09-27 1661
大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多，比如Huggingface Transformer、微软的DeepSpeed、meta的LLama、Pytorch，Google的colab、TensorFlow、BERT，这些公司提供了大量开源的技术工具以及成果。
Out of Vocabulary处理方法
一位在路上的工程师的博客
01-25 1256
我们在NLP任务中一般都会有一个词表，这个词表一般可以使用一些大牛论文中的词表或者一些大公司的词表，或者是从自己的数据集中提取的词。但是无论当后续的训练还是预测，总有可能会出现并不包含在词表中的词，这种情况叫做Out of Vocabulary。
AI大模型技术方案.docx
最新发布
04-05
AI大模型技术方案 目录 1. 概述 1 1.1. 编写目的 1 1.2. 背景 1 1.3. 软件设计目标 1 1.4. 术语定义 1 2. 运行环境 2 2.1. 运行软件环境 2 2.2. 运行硬件环境 2 3. 总体技术方案 2 3.1. 预训练模型 2 3.2. 分词算法 ...
2023年-2024年电商TOP20万词表
03-18
2023年-2024年电商TOP20万词表
停用词表（包含常见的停用词表，以及汇总停用词表）
05-01
常用的停用词表，包括哈工大(hit)、百度(baidu)、四川大学机器智能实验室停用词库（scu)、中文停用词表(cn)，以及汇总的停用词表(all)
大语言模型之十 SentencePiece
shichaog的专栏
09-17 2202
将每个单词看成一个token，然后对其编号，这符合人类语言习惯，但这并不是一个高效的编码方式，这是因为一门语言通常有几万到几十万的单词量，而现在的大语言模型都是支持多国的，如果每个单词独立编码，这就需要语言模型在预测的时候从几万到几百万这样规模的词汇表中选择一个（预测这些词的概率情况），这样的计算量是非常大的。其目的是用一个有限的词表在token数量降到最低的情况下解决所有单词的分词，这是可能的，英文单词词根、词源以及时态等语法，这就意味着很多词都有着相同的部分，似然值的变化就是两个子词之间的互信息。
[NLP] LLM---＜训练中文LLama2(一)＞训练一个中文LLama2的步骤
摩登都市天空---专栏
09-13 2381
然而，这将需要我们给人类发送一些样本，在每轮优化后计分，这个流程需要耗费大量人工，且需要大量数据集，而人类阅读和标注的速度有限。等），但是坦白讲，质量都不高，大家可自行下载并需要进行清洗，清洗SFT数据是个耗时耗力的工作，但根据作者微调经验，一份高质量的SFT数据是相当重要的‼️（如果不清洗SFT数据，可能无法获得满意的SFT效果，建议大家在这块多花些时间） 中文SFT语料网上最近很多，大家自行下载。因为在llama官方所提供的词表中，中文的部分只有700个，这也是llama中文能力聊胜于无的原因。
tokenizer添加新词-大模型词表扩充必备工具SentencePiece
weixin_40777649的博客
12-06 709
tokenization.py: 将llama 的tokenizer 改个名而已。
随机分词与tokenizer(BPE-＞BBPE-＞Wordpiece-＞Unigram-＞sentencepiece-＞bytepiece)
weixin_36378508的博客
12-08 1681
随机分词与tokenizer(BPE->BBPE->Wordpiece->Unigram->sentencepiece->bytepiece)
sentencepiece用textcnn模型情感分析
01-08
SentencePiece是一种用于分词和构建词表的工具，而TextCNN是一个用于文本分类的模型。通过将二者结合，我们可以实现利用SentencePiece构建词表并使用TextCNN进行情感分析任务。 首先，我们使用SentencePiece工具对...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值