LLaMA模型之中文词表的蜕变

已于 2023-11-20 22:11:09 修改
阅读量1.1k 收藏
点赞数 18
分类专栏： LLM 文章标签： llama
于 2023-11-13 20:51:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/134386336
版权
本文介绍了如何增强LLaMA模型的中文支持能力，通过sentencepiece工具训练新的词表并将其与原词表合并，以提高中文编解码效率。详细讲述了训练数据准备、词表训练、词表合并及测试的步骤，并提供了训练参数说明。
摘要由CSDN通过智能技术生成

在目前的开源模型中，LLaMA模型无疑是一颗闪亮的⭐️，但是相对于ChatGLM、BaiChuan等国产大模型，其对于中文的支持能力不是很理想。原版LLaMA模型的词表大小是32K，中文所占token是几百个左右，这将会导致中文的编解码效率低。

在将LLaMA系列模型用于中文语言时需要进行中文词表扩充，基于sentencepiece工具训练，产生新的词表，然后与原始词表合并得到一个新词表。

本文将LLaMA模型中文词表扩充分为以下步骤：训练数据准备、词表训练、词表合并、词表测试。

训练数据准备

这里使用MedicalGPT中的天龙八部小说作为训练文本。

数据是txt文件，一行文本作为一条数据。

词表训练代码

import sentencepiece as spm

spm.SentencePieceTrainer.train
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hj_caas
关注
专栏目录
订阅专栏
QLORA:量化LLMA的有效微调
AI浩
06-28 2954
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
[NLP] LLM---＜训练中文LLama2(二)＞扩充LLama2词表构建中文tokenization
摩登都市天空---专栏
09-13 6218
目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。一般的，目前比较主流的是使用sentencepiece训练中文词库。除了一些特殊符号外，还有我们自定义的foo和bar，其余的一些词是BPE训练得到，具体什么是BPE算法这里不作展开了。然后，我们准备好语料，这里我们使用的语料是斗破苍穹小说。加入了我们定义的词表后确实能够正确的对中文进行分词了。
Llama2-Chinese项目：2.2-大语言模型词表扩充
NLP工程化
09-16 1755
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese-LLaMA-Alpaca开源项目详细说明了词表扩展[2]。
【LLM大模型】怎么裁剪LLM（大语言模型）的vocab（词表）？
huang9604的博客
07-08 966
对于一些多语言的大语言模型而言，它的词表往往很大。在下游使用这些模型的时候，可能我们不需要其它的一些语言，例如只需要中文和英文，此时，我们可以对其vocab进行裁剪，既可以大大减少参数量，也能够保留模型的性能，接下来以Bloom模型为例看看是怎么进行操作的。代码来源于这：https://github.com/yangjianxin1/LLMPruner。
大语言模型之十二 SentencePiece扩充LLama2中文词汇
shichaog的专栏
09-27 2124
大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多，比如Huggingface Transformer、微软的DeepSpeed、meta的LLama、Pytorch，Google的colab、TensorFlow、BERT，这些公司提供了大量开源的技术工具以及成果。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
AI生成式技术曾小健
06-16 1191
本文首先从训练数据、tokenizer和模型结构细节上对比了LLaMA、ChatGLM和BLOOM这三个主流的开源大语言模型，并介绍了这三个基座模型的衍生模型；接着详细介绍了不同大语言模型在tokenizer、layer normalization、激活函数和位置编码的模型细节；然后讲述了prompt tuning、prefix tuning、LLaMA- adapter和LoRA这些参数高效微调方法；最后对比了不同基座语言模型和不同微调方法的效果。
LLaMA模型系统解读
热门推荐
herosunly的博客
05-22 11万+
本文介绍核心内容为LLaMA模型系统解读，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. LLaMA的核心目标和成功诀窍 2.1 核心目标 2.2 成功诀窍一 2.3 成功诀窍二 2.4 成功诀窍三 3. 常见误区 3.1 误区一 3.2 误区二 3.3 误区三 3.4 误区四
LLama3 中文大模型LLama3 中文大模型
最新发布
08-20
LLama3 中文大模型
LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】
u013250861的博客
06-25 1025
前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。下载后务必检查压缩包中模型文件的SHA256是否一致，请查看。具体内容请参考本项目 >>>具体内容请参考本项目 >>>
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
开源最强大模型Llama3.1发布
2301_82275412的博客
07-25 1129
详细介绍Meta于2024年7月23日正式发布了最新的开源大语言模型Llama 3.1，该系列包括8B、70B和405B三个参数版本。Llama 3.1在性能上取得了显著提升，特别是在推理能力、多语言支持以及上下文长度方面。：Llama 3.1的405B版本在150多个基准测试集中表现优异，甚至超越了现有的SOTA模型GPT-4o和Claude 3.5 Sonnet。：具备强大的常识理解、可引导性、数学推理、工具使用和多语言翻译能力。
【LLM】LLaMA简介：一个650亿参数的基础大型语言模型
小哲的博客
04-26 6271
作为 Meta 对开放科学承诺的一部分，今天我们将公开发布LLaMA(大型语言模型 Meta AI) ，这是一个最先进的大型语言基础模型，旨在帮助研究人员推进他们在人工智能这一子领域的工作。更小，更高性能的模型，例如 LLaMA，使得研究社区中没有大量基础设施的其他人能够研究这些模型，进一步民主化这个重要的，快速变化的领域的访问。在大型语言模型空间中，训练像LLaMA这样的较小基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。
LLaMA 简介：一个基础的、650 亿参数的大型语言模型
AI天才研究院
04-18 1万+
还需要做更多的研究来解决大型语言模型中的偏见、有毒评论和幻觉的风险。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。在大型语言模型空间中训练像 LLaMA 这样的小型基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。作为 Meta 对开放科学承诺的一部分，今天我们公开发布 LLaMA（大型语言模型元 AI），这是一种最先进的基础大型语言模型，旨在帮助研究人员推进他们在 AI 子领域的工作。
一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值
结构之法 算法之道
04-19 1万+
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
收藏 | 看懂llama2 原理、模型和训练
zenRRan的博客
12-01 5285
作者：yeyan，中国地质大学 工程硕士 编辑：青稞AI基础知识llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型，在各种基准集的测试上表现突出，最重要的是，该模型可用于研究和商业用途。1.1 分词（tokenize）语言模型是对文本进行推理。由于文本是字符串，但对模...
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-27 3997
​ LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 目录 Colossal-LLaMA-2的简介 Colossal-LLaMA-2的安装 Colossal-LLaMA-2的使用方法 Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
llama7b 词表
01-20
llama7b 词表是一个包含许多由用户贡献创建的词汇和术语的资源。这个词表涵盖了各种主题，包括科技、生活、娱乐、健康等等。用户可以在这个词表中查找他们感兴趣的词汇，并且还可以添加新的词汇以丰富这个资源。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值