LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略

最新推荐文章于 2024-08-30 11:14:29 发布
最新推荐文章于 2024-08-30 11:14:29 发布
阅读量316 收藏
点赞数
分类专栏： # ML/经典模型 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134323569
版权
本文档详细介绍了Chinese-LLaMA-Alpaca-2模型，它是LLaMA系列的第二期项目，基于deepspeed框架进行了预训练和指令精调。内容包括模型的开源背景、安装教程、模型训练与精调的步骤，以及多种推理和部署方案，旨在帮助用户理解和应用这一中文大模型。
摘要由CSDN通过智能技术生成

LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略

导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。

本项目主要内容

>> 针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型；

>>开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型；

>>使用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 2795
​ LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略 目录 相关文章 Chinese-LLaMA-Alpaca的简介 Chinese-LLaMA-Alpaca的的安装 Chinese-LLaMA-Alpaca的的使用方法 相关文章 论文相关 LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA a
大模型部署手记（14）Chinese-LLaMA-Alpaca-2+Ubuntu+vLLM
张小白
10-17 1111
组织机构：Meta（Facebook）模型：chinese-alpaca-2-7b-hf下载：使用百度网盘下载硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
LLM推理加速（二）
laner__gg的博客
06-05 790
模型推断过程无法并行，因为只有一个gpu，但是tokenize和Detokenize是cpu上发生的。Detokenize发生的过程，实际上是等前一步的sample完成后，gpu结果完成后，在cpu上做Detokenize。实际上此时GPU就空闲了，即当上一次Sample完成后，可以直接进行下一次Computing的计算，可以不用等下一次Detokenize。这就是流水线优化。
开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM
开放知识图谱
06-19 7439
DeepKE-LLM链接：https://github.com/zjunlp/DeepKE/tree/main/example/llmOpenKG地址：http://openkg.cn/tool/deepkeGitee地址：https://gitee.com/openkg/deepke/tree/main/example/llm开放许可协议：Apache-2.0 license贡献者：浙江大学（张...
deepin系统安装教程（详细）
时光之眼的博客
09-20 6341
deepin系统安装教程（详细）
LLMs 入门实战系列
datayx的文章
08-26 585
向AI转型的程序员都关注了这个号????????????【LLMs 入门实战系列】第五重 GPT4ALL第十一重 OpenBuddy第十二重 Baize第十三重 OpenChineseLLaMA第十四重 Panda第十五重 Ziya-LLaMA-13B第十六重 BiLLa第十七重 Luotuo-Chinese-LLM第十八重 Linly第十九重 ChatYuan第二十重 CPM-Bee第二十一重 TigerBot第...
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 1751
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版L
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-03 1245
​ LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版LLaMA转HF格式+合并llama_hf和chinese-alpaca-lora-7b→下载llama.cpp进行模型的量化(CMake编译+生成量化版本模型)→部署f16/q4_0+测试效果】的图文教程(非常详细) 目录 相关文章 在单机CPU+Windows系统上实现中文LLaMA算法
LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】
u013250861的博客
06-25 1000
前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。下载后务必检查压缩包中模型文件的SHA256是否一致，请查看。具体内容请参考本项目 >>>具体内容请参考本项目 >>>
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-31 1273
​ LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(模型量化+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+CheckPointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评
Llama与ChatGPT的优劣解析
m0_65134936的博客
08-28 1324
Llama和Llama 3.1都是Meta AI开发的大型语言模型，但Llama 3.1在功能和性能上进行了显著升级，支持更多的语言和工具调用能力，从而在更广泛的应用场景中表现出色。在AI技术快速发展的今天，各类智能工具层出不穷，其中Llama与ChatGPT作为近期备受关注的两个代表，各自以其独特的功能和优势吸引了众多用户的目光。不过，在具体表现上，两者仍存在一定的差异。当然，随着AI技术的不断进步和发展，这两款工具也将在未来不断升级和完善，为用户带来更加优秀的体验和服务。
如何在家用设备上运行 Llama 3.1 405B？搭建 AI 集群
因为无知，所以奋斗！
08-28 784
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中，开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外，您无需依赖外部提供商或支付任何额外费用。但是，随着模型大小的增加，这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是，张量基准和分布式推理可能会有所帮助。
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
shizidushu的博客
08-27 1823
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
10、ollama启动LLama_Factory微调大模型（llama.cpp）
最新发布
Andy_shenzl的博客
08-30 664
在介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值