LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

已于 2023-06-25 17:58:24 修改
阅读量1k 收藏 5
点赞数
分类专栏： # LLM/经典模型 文章标签： llama
于 2023-06-25 17:39:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131382759
版权
Chinese-LLaMA-Alpaca是基于LLaMA的中文衍生模型，扩展了中文词汇表，并进行了二次预训练。模型可通过GitHub获取，包括详细训练过程、预训练和指令精调的脚本。注意，由于版权问题，原版LLaMA模型需自行申请。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 1798
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
【AI人工智能】LLM 开源中文大语言模型集合
程序员光剑
06-19 9089
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码
专注计算机视觉全栈知识分享
04-22 1420
上述结果表明，中文Alpaca-13B模型在各项任务中均表现优于7B模型，凸显了模型容量增加的好处。然而，GPT-4并不总是提供准确的分数，所以作者对其评分进行人工检查并在必要时进行调整，手动检查确保分数一致并反映所评估的模型的真实性能。（gpt-3.5-turbo API）中自动获取训练数据，另外这段描述中提供了超参数（hyperparameters）的列表，并在Table 3中提供了微调数据的详细信息。这些模型以其庞大的规模和广泛的训练数据为特征，已经展示出了理解和生成类似于人类文本的强大能力。
汇聚开源力量：中文类LLaMA大语言模型资源大全
最新发布
m0_70486148的博客
08-24 945
LLaMA可以说是今年最受欢迎的大语言模型之一，LLaMA的开源带动了大语言模型社区的兴起，许多模型例如Vicuna、Alpaca等应运而生。然而，由于LLaMA是英文原生模型，对中文的支持较弱，因此训练中文模型需要额外的训练和对齐。本文介绍了笔者在调研过程中整理的一些具有代表性的基于LLaMA中文开源模型，供读者对比这些方案的异同。在2023年开源大模型排行榜中，LLaMA占据了绝对的榜首地位。
Chinese-LLaMA-Alpaca：优秀的开源中文语言模型预训练工具
m0_37586850的博客
05-03 743
省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2023年3月份热门报告合集万字干货：ChatGPT的工作原理2023年创业（有创业想法）必读手册ChatGPT等让你效率倍增的22个AI工具ChatGPT调研报告（仅供内部参考）ChatGPT的发展历程、原理、技术架构及未来方向《ChatGPT：真格基金分享.pdf》2023年AIGC发展趋势报告：人...
Chinese-LLaMA-Alpaca本地搭建（三）
qiushily2030的博客
07-21 1000
中文羊驼模型只是一些LoRA权重模型文件，与原版LLaMA模型合并后就可以生成一个完整模型使用了，在这过程中可以不断训练LoRA权重模型文件，无限训练后达到专业领域的效果，理论上就能投入使用了，但注意禁止商用的问题。Facebook官方发布的LLaMA模型禁止商用，并且官方没有正式开源模型权重。模型规格：7B、13B、33B(30B就是33B，实际是32.5B)、65B。GitHub源码地址，可以通过其下载。
Chinese-LLaMA-Alpaca代码实战
dzysunshine的博客
05-25 4187
将alpaca-combined下的文件都放到7B目录下后，执行下面的操作。工具为例，介绍无需合并模型即可进行本地化部署的详细步骤。使用text-generation-webui搭建界面。我们进一步将FP16模型转换为4-bit量化模型。将合并后的模型权重下载到本地，然后传到服务器上。会显示：7B tokenizer.model。会生成ggml-model-f16.bin。1、先新建一个conda环境。实验效果：生成的中文较短。
LLM-LLaMA中文衍生模型：LLaMA-ZhiXi【没有对词表进行扩增、全参数预训练、部分参数预训练、指令微调】
u013250861的博客
06-25 473
下图展示了我们的训练的整个流程和数据集构造。整个训练过程分为两个阶段：（1）全量预训练阶段。该阶段的目的是增强模型的中文能力和知识储备。（2）使用LoRA的指令微调阶段。该阶段让模型能够理解人类的指令并输出合适的内容。
LLM-项目详解-Chinese-LLaMA-AIpaca（一）：LLM+LoRa微调加速技术原理及基于PEFT的动手实践：一些思考和mt0-large+lora完整案例
u013250861的博客
06-14 956
本文主要从LoRA基本原理及PEFT中的实现、基于mt0-large+lora的完整实践两方面进行了介绍。关于进一步的细节，我们可以熟悉原理后，可以进行动手实践，加深理解。
LLM-项目详解-Chinese-LLaMA-AIpaca（二）：代码解读【①prompt指令制作、②合并分词器、③Lora模型与基础模型合并、③模型分片保存】
u013250861的博客
06-13 807
【代码】Chinese-LLaMA-AIpaca项目代码解读。
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
热门推荐
提笔忘字的帝国
04-14 1万+
想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~, 该模型可以在笔记本电脑上部署, 确保你电脑至少有16G运行内存。
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca
nlpstarter的博客
03-29 1万+
推荐一个在本地部署中文类ChatGPT大模型的开源项目
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
2401_85280106的博客
06-04 1082
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_一个处女座的程序猿的博客-CSDN博客实战应用相关LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略_一个处女座的程序猿的博客-CSDN博客。
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
08-15 1585
“Meta 开源LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2。”01—目前在开源大模型中，比较有名的是Meta的LLAMA模型系列和清华的ChatGLM模型。特别是在中文领域上，ChatGLM模型经过中文问答和对话的优化，更加符合中文使用者的偏好回答。我对ChatGLM比较关注，出来的时候就开...
开源中文类LLaMA大语言模型汇总
AAI666666的博客
08-16 784
LLaMA可以说是今年最受欢迎的大语言模型之一，LLaMA的开源带动了大语言模型社区的兴起，许多模型例如Vicuna、Alpaca等应运而生。
ollama部署体验Chinese-LLaMA-Alpaca-3大模型项目
nlpstarter的博客
05-15 2297
使用Chinese-LLaMA-Alpaca-3项目中的模型，利用ollama进行了部署体验。
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
weixin_48087464的博客
10-13 3044
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值