llama3部署

最新推荐文章于 2024-05-29 19:39:34 发布
最新推荐文章于 2024-05-29 19:39:34 发布
阅读量1.3k 收藏 31
点赞数 21
分类专栏： 大模型 文章标签： llama python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pa_n_da/article/details/138498965
版权

  1. 硬件需求:

    最好GPU>=24G,(本项目使用a100演示),最小要求GPU显存8G才达到对轻量级7B参数微调

  2. 软件需求:

    vscode(如有远程请自行搜索),Anaconda,python,cuda(配置自行搜索)

  3. 实践1-运行web-demo

    1. 环境配置

      conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

    2. 下载模型

      #新建文件夹

      mkdir -p ~/model
cd ~/model

      #从OpenXLab中获取权重
      #安装 git-lfs 依赖
      #如果下面命令报错则使用 apt install git git-lfs -y

      conda install git-lfs
git-lfs install

      #下载模型

      git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

      #或者软链接 InternStudio 中的模型

      ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

    3. web demo部署

      cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial
#或者
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN

      #安装 XTuner 时会自动安装其他依赖

      cd~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

      #运行 web_demo.py

      streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

    4. 在vscode配置转发端口(点击端口,转发端口8501)

    5. 结果展示在这里插入图片描述

  4. 实践2-Xtuner微调Llama3个人小助手认知

    1. 上面配置过Tutorial,只需要将Xtuner克隆到本地即可(远程打开文件夹)

    2. 使用XTuner进行微调(本次微调使用的时QLoRA)

      1. 打开Llama3-Tutorial----tools-----gdata.py

      2. 修改name

      3. 运行生成json文件

        #切换到该文件夹下
python tools/gdata.py

      4. 如需修改配置文件和对话模板—修改对应的路径(configs/assistant/llama3_8b_instruct_qlora_assistant.py)

      5. 训练模型

        cd ~/Llama3-Tutorial

# 开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

# Adapter PTH 转 HF(huggingface) 格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

# 模型合并(三个路径)
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

      6. 推理验证(/root/llama3_hf_merged)

        streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

      7.结果展示在这里插入图片描述

  5. 实践3-llama3图片理解能力微调

    1. 环境配置—前面已经配置好了,直接进入环境中

      conda activate llama3
cd XTuner
pip install .[all]

    2. 图片理解训练数据准备

      1. 模型准备

        准备 Llama3 权重

        在微调开始前，我们首先来准备 Llama3-8B-Instruct 模型权重。

        • InternStudio
        mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .

        ​

        • 非 InternStudio

        我们选择从 OpenXLab 上下载 Meta-Llama-3-8B-Instruct 的权重。

        mkdir -p ~/model
cd ~/model
git lfs install
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

        ​

        准备 Visual Encoder 权重

        我们接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。

        • InternStudio
        mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/openai/clip-vit-large-patch14-336 .

        ​

        • 非 InternStudio

        可以访问 https://huggingface.co/openai/clip-vit-large-patch14-336 以进行下载。

        准备 Image Projector 权重

        然后我们准备 Llava 将要用到的 Image Projector 部分权重。

        • InternStudio
        mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/xtuner/llama3-llava-iter_2181.pth .

        ​

        • 非 InternStudio

        相关权重可以访问：https://huggingface.co/xtuner/llava-llama-3-8b 以及 https://huggingface.co/xtuner/llava-llama-3-8b-v1_1 。（已经过微调，并非 Pretrain 阶段的 Image Projector）

      2. 数据准备

        我们按照 https://github.com/InternLM/Tutorial/blob/camp2/xtuner/llava/xtuner_llava.md 中的教程来准备微调数据。为了让大家可以快速上手，我们选择了使用过拟合的方式快速实现。

        可以执行以下代码：

        cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
  -i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
  -o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
  -n 200

    3. XTurner微调

      1. 训练启动

        我们已经为大家准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。

        我们使用如下指令以启动训练：

        xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload

        训练过程所需显存约为44447 MiB，在单卡 A100 上训练所需时间为30分钟。

        在这里插入图片描述

        在训练好之后，我们将原始 image projector 和 我们微调得到的 image projector 都转换为 HuggingFace 格式，为了下面的效果体验做准备。

        xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/model/llama3-llava-iter_2181.pth \
  ~/llama3_llava_pth/pretrain_iter_2181_hf

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3_llava_pth/iter_1200.pth \
  ~/llama3_llava_pth/iter_1200_hf

      2. 提问

        问题1：Describe this image.
问题2：What is the equipment in the image?

      3. Pretrain模型—只会为图片打标签，并不能回答问题。

        export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/pretrain_iter_2181_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

      4. Finetune 后 模型—可以根据图片回答我们的问题了

        export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/iter_1200_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

  6. 实践4-llama3agent能力+微调(Lagent)

    1. 环境配置如上

    2. 微调过程

      1. 模型准备

        在微调开始前，我们首先来准备 Llama3-8B-Instruct 模型权重。

        ​ InternStudio

        mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .

        ​ 非 InternStudio

        我们选择从 OpenXLab 上下载 Meta-Llama-3-8B-Instruct 的权重。

        mkdir -p ~/model
cd ~/model
git lfs install
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

      2. 数据集

        由于 HuggingFace 上的 Agent-FLAN 数据集暂时无法被 XTuner 直接加载，因此我们首先要下载到本地，然后转换成 XTuner 直接可用的格式。

        • InternStudio

        如果是在 InternStudio 上，我们已经准备好了一份转换好的数据，可以直接通过如下脚本准备好：

        cd ~
cp -r /root/share/new_models/internlm/Agent-FLAN .
chmod -R 755 Agent-FLAN

        ​

        • 非 InternStudio

        首先先来下载数据：

        cd ~
git lfs install
git clone https://huggingface.co/datasets/internlm/Agent-FLAN

        ​

        我们已经在 SmartFlowAI/Llama3-Tutorial 仓库中已经准备好了相关转换脚本。

        python ~/Llama3-Tutorial/tools/convert_agentflan.py ~/Agent-FLAN/data

        ​

        在显示下面的内容后，就表示已经转换好了。转换好的数据位于 ~/Agent-FLAN/data_converted

        Saving the dataset (1/1 shards): 100%|████████████| 34442/34442

      3. 微调

        我们已经为大家准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。

        我们使用如下指令以启动训练：

        export MKL_SERVICE_FORCE_INTEL=1
xtuner train ~/Llama3-Tutorial/configs/llama3-agentflan/llama3_8b_instruct_qlora_agentflan_3e.py --work-dir ~/llama3_agent_pth --deepspeed deepspeed_zero2

        ​

        在训练完成后，我们将权重转换为 HuggingFace 格式，并合并到原权重中。

        # 转换权重
xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-agentflan/llama3_8b_instruct_qlora_agentflan_3e.py \
    ~/llama3_agent_pth/iter_18516.pth \
    ~/llama3_agent_pth/iter_18516_hf

        ​

        由于训练时间太长，我们也为大家准备好了已经训练好且转换为 HuggingFace 格式的权重，可以直接使用。路径位于 /share/new_models/agent-flan/iter_2316_hf。

        如果要使用自己训练的权重，可以使用如下指令合并权重：

        # 合并权重
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
    ~/llama3_agent_pth/iter_18516_hf \
    ~/llama3_agent_pth/merged

        ​

        如果要使用已经训练好的权重，可以使用如下指令合并权重：

        export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
    /share/new_models/agent-flan/iter_2316_hf \
    ~/llama3_agent_pth/merged

    3. 启动-Llama3+Agent-FLAN ReAct Demo

      pip install lagent
streamlit run ~/Llama3-Tutorial/tools/agent_web_demo.py ~/llama3_agent_pth/merged
      • 微调前 LLaMA3 路径：/root/model/Meta-Llama-3-8B-Instruct
      • 微调后 LLaMA3 路径：/root/llama3_agent_pth/merged

    4. 结果展示(记得转发端口)

      在这里插入图片描述

    5. 感谢InternStudio提供的平台学习llama3,以及b站up主机智流教学https://www.bilibili.com/video/BV1Kr421u71u/?spm_id_from=333.788

  7. 总结

    通过本次学习熟悉在云服务器上部署llama3-web-demo,使用Xtuner完成小助手认知微调,使用LMDeploy部署llama3模型等,掌握对大模型部署和微调,学会使用Xtuner工具辅助完成部署

    本次活动截至5/12日,可以报名参加在这里插入图片描述

小刘速通
关注
  • 21
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署
程序员陆通
04-21 1万+
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
Docker下部署LLAMA 2
08-09
本指南主要介绍如何在docker下部署LLAMA 2，附带命令代码和docker文件的编辑代码
零成本高效部署：Llama 3本地使用全攻略
程序员鑫港的博客
05-09 3363
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。
首发！Llama3纯本地部署攻略！中文方法！
XD的博客
04-22 1万+
完成了LLAMA3的模型部署，从测试的结果可以看到， llama3的基础模型对于中文的支持并不好，我们的问题是中文，它却返回了英文的结果，原因可能是因为它的训练集有15个T但是其中95%是英文，想要它支持中文更好，还需要使用中文的训练集进行微调，可喜的是，微调llma系列的中文训练集并不少（可能是因为llama系列都有这个问题），后续我会接着对llama3进行微调， 待续。。。
LLama3大模型本地部署 仅需6步完成对话模型本地安装部署。附送可视化ui安装、自定义模型目录，修改模型保存地址，第三方微调模型、中文模型下载地址
炼丹炉里有煤灰
05-12 2618
本篇分为三部分一：6步完成llama3大模型本地部署二：8步完成llama3可视化对话界面安装三：重设模型文件路径四：微调模型、中文模型下载资源分享。
llama3本地部署
好玩的事情要记录下来~
04-25 1233
Llama 美洲驼 大语言模型
【LLAMA3超级课堂-第四节】Llama 3 高效部署实践（LMDeploy 版）
qq_43687808的博客
05-08 926
LMDeploy 高效部署 Llama3 实践
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
最新发布
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
Llama3 本地web Demo部署
diemeng9339的博客
05-10 1083
Llama3 WEB DEMO部署及小助手认知微调
一分钟部署 Llama3 中文大模型
爱生活爱学习。
05-02 545
在您的代码中使用适当的深度学习框架加载模型。根据您选择的框架，可能需要使用 PyTorch、TensorFlow 或其他支持的框架。：将您的代码和模型部署到您选择的环境中，可以是本地服务器、云端服务器或其他平台。根据您的需求，调整代码以适应推理或训练任务，并确保使用正确的输入和输出格式。：如果您要使用模型进行推理，确保对输入数据进行适当的预处理，以便与模型的输入格式匹配。：进行端到端的测试，确保部署的模型在生产环境中按预期工作。：根据您的硬件和任务需求，调整模型的超参数、批处理大小等，以获得最佳性能。
快速体验 Llama3 的 4 种方式，本地部署，800 tokens/s 的推理速度真的太快了！
weixin_43829633的博客
04-26 1859
北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama1、Llama2和CodeLlama之后的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型，你有没有第一时间体验上呢，这篇文章就分享下如何在Groq上以超过 800 tokens/s 的魔鬼推理速度体验Llama3，会同时分享Web端、移动端、API方式以及集成到LangChain中4种体验方案。我的新书已经开售！
自主部署和运行大语言模型Llama3的5种方法
xiangxueerfei的博客
05-29 1539
Meta 最近发布了Llama 3，这是其开源大型语言模型（LLM）的最新和最强大的版本。Llama3包括两个版本：Llama 3 8B（含80亿个参数）和 Llama 3 70B（含700亿个参数），这两个版本都有基础和指令调整变体。与Llama 2相比，Llama 3模型降低了错误拒绝率，提供了双倍的上下文长度，具有 8K 标记上下文窗口。Llama 3 模型的训练数据比 Llama 2 多出约 8 倍，在24000个GPU卡上，使用了超过 15 万亿个token的新的公开在线数据组合。
本地部署 Meta Llama3-8b 和 Llama3-70b
热门推荐
engchina的专栏
04-19 1万+
本地部署 Meta Llama3-8b 和 Llama3-70b
Llama3-Tutorial
weixin_66889864的博客
05-18 612
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。只有运行lmdeploy chat /root/autodl-tmp/baicai003/Llama3-Chinese-instruct-DPO-beta0.5。(你下载模型的路径)/model/Meta-Llama-3-8B-Instruct。
Llama3本地部署与高效微调入门
水工鸟的专栏
05-06 2897
为了保持公司在AI（人工智能）开源大模型领域的地位，社交巨头Meta推出了旗下最新开源模型。当地时间4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3。目前，Llama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，上下文窗口为8k。Meta表示，通过使用更高质量的训练数据和指令微调，Llama 3比前代Llama 2有了“显著提升”。未来，Meta将推出Llama 3的更大参数版本，其将拥有超过4000亿参数。
llama3 本地部署
05-06
Llama3 是一款流行的基于Java的开源数据处理工具，支持处理结构化和非结构化数据。为了保证数据隐私和安全性，您可以选择在本地部署 Llama3。 下面是 Llama3 本地部署的步骤： 1. 下载并安装 Java 运行时环境（JRE）和 Apache Maven。 2. 下载 Llama3 的源代码，并使用 Maven 构建项目。 3. 配置 Llama3 的运行环境，包括数据库和其他必要的依赖项。 4. 启动 Llama3，并访问 Llama3 的 Web 界面，输入您的用户名和密码以登录系统。 5. 在 Llama3 中创建数据源和数据模型，然后运行您的数据处理任务。 如果您需要更详细的指导，请查看 Llama3 的官方文档或社区论坛。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值