Llma3大模型----五一共学笔记-2

最新推荐文章于 2024-08-19 00:00:00 发布
最新推荐文章于 2024-08-19 00:00:00 发布
阅读量1k 收藏 27
点赞数 13
分类专栏： 大模型集体学习 文章标签： 笔记 llama python 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69367153/article/details/139041228
版权

LMDeploy 高效部署 Llama3 实践---如何使用LMDeploy来部署Llama3

Llama3-Tutorial/docs/lmdeploy.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

如，同栏目的上-1笔记一样，机智流github仓库笔记如上链接

1.环境，模型准备

1.1 环境配置

在这一节中需要配置新的环境

# 如果你是InternStudio 可以直接使用
studio-conda -t lmdeploy -o pytorch-2.1.2
# 如果不是则使用以下命令，初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

这里可能出现报错，下载超时，若是下载太慢或超时，可以切换清华大学的镜像源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

接着安装Imdeploy最新版

pip install -U lmdeploy[all]

注意：安装Imdeploy最新版这里是是在imdeploy环境下的，下载最新版的时候别配错了，因为我是直接运行第一条代码，还没激活环境，就下了，下完了才发现下错了（哭了），使用以下代码进入环境

conda activate lmdeploy

配置完可运行以下命令列出所有可发现的conda环境

conda info --envs

1.2 Llama3 的下载

直接复制即可，

# 新建文件夹
mkdir -p ~/model
cd ~/model
# 软链接 InternStudio 中的模型，这一步骤我们在之前的学习中已经完成，因此InternStudio 中不建议执行这一步
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

# 执行会以下错误，因此在InternStudio中直接略过这一步
ln: failed to create symbolic link '/root/model/Meta-Llama-3-8B-Instruct/Meta-Llama-3-8B-Instruct': Read-only file system

2.LMDeploy chat CLI工具

下面代码直接运行即可

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

得出结果

3.LMDeploy模型量化(lite)

主要包括 KV8量化和W4A16量化

3.1设置最大KV Cache缓存大小

LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，来控制KV缓存占用剩余显存的最大比例。默认比例为0.8。在模型运行时，显存的占用主要包括模型参数本身、KV Cache以及中间运算结果所占用的显存。通过调整--cache-max-entry-count参数，可以影响KV Cache对显存的利用率。

接下来通过几个例子来说明调整--cache-max-entry-count参数的效果。首先，保持参数不变（默认为0.8），运行Llama3-8b模型。通过观察实际运行情况，了解不同参数设置对显存利用的影响。这样可以优化显存的利用，提升模型的性能和效率。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/

新建一个终端运行ctrl+shift+~、

# 如果你是InternStudio 就使用
studio-smi

# 如果不是请使用下面命令
nvidia-smi

得到结果

此时模型的占用为36232MiB。下面改变--cache-max-entry-count参数，设为0.5。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

看到显存占用明显降低，变为28680MiB。

取“极限”位置，将参数设置为0.01，相当于禁止KV Cache占用显存。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01

可以看到，此时显存占用仅为16176M，代价是会降低模型推理速度

注意：新建了终端，查看显存占用情况需要在另一个终端中使用studio-smi查看

3.2使用W4A16量化

直接cv以下命令，就可以完成模型量化

lmdeploy lite auto_awq \
   /root/model/Meta-Llama-3-8B-Instruct \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit

运行时间较长，请耐心等待。

下面使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq

 为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

可以看到是明显降低的

3.3 在线量化 KV

自v0.4.0 起，LMDeploy KV 量化方式有原来的离线改为在线。并且，支持两种数值精度 int4、int8。量化方式为 per-head per-token 的非对称量化。它具备以下优势：

  1. 量化不需要校准数据集
  2. kv int8 量化精度几乎无损，kv int4 量化精度在可接受范围之内
  3. 推理高效，在 llama2-7b 上加入 int8/int4 kv 量化，RPS 相较于 fp16 分别提升近 30% 和 40%
  4. 支持 volta 架构（sm70）及以上的所有显卡型号：V100、20系列、T4、30系列、40系列、A10、A100 等等 通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 参数。LMDeploy 规定 qant_policy=4表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。

4.LMDeploy服务(serve)

前面的章节，我们都是在本地直接推理大模型，称为本地部署。而通常我们会将大模型封装为 API 接口服务，供客户端访问。

4.1 启动API服务器

通过以下命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型

lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。 通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。 你也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。

这一步由于Server在远程服务器上，所以本地需要做一下ssh转发才能直接访问。在你本地打开一个cmd窗口，输入命令如下：

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

ssh 端口号就是下面图片里的 47304，请替换为你自己的。

然后打开浏览器，访问http://127.0.0.1:23333。

4.2 命令行客户端连接API服务器

上述目的是在终端中开了一个API服务器。而现在我们要新建一个命令行客户端去连接API服务器。

首先通过VS Code新建一个终端： 激活conda环境，运行命令行客户端

conda activate lmdeploy
lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话

4.3 网页客户端连接API服务器

关闭刚刚的VSCode终端，但服务器端的终端不要关闭。 运行之前确保自己的gradio版本低于4.0.0。

pip install gradio==3.50.2

新建一个VSCode终端，激活conda环境。

conda activate lmdeploy

使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006 然后就可以与模型进行对话了！

恭喜你，又完成了本节课的学习！！！

发明天才的真是个程序
关注
专栏目录
Two-factor authentication (2FA) is required for your GitHub account解决方案
weixin_43178406的博客
01-27 4万+
 本文主要介绍了Two-factor authentication (2FA) is required for your GitHub account的解决方案，希望能对使用github的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【GPT-3】第1章 大型语言模型时代
sikh_0529的博客
09-28 7789
您无需从头开始构建模型来解决您的问题，而是使用针对更一般问题进行训练的模型作为起点，并使用特别策划的数据集在您选择的领域对其进行更具体的训练。它的数据集和模型都比用于 GPT-2 的数据大两个数量级：GPT-3 有 1750 亿个参数，并且在混合了五个不同的文本语料库上进行了训练，这比用于训练 GPT 的数据集大得多-2。该实验的结果是一个具有新的非凡能力的模型，以 GPT-3 的形式出现。对于我们的示例，我们会说编码器是以法语为母语的人，而解码器是以英语为母语的人。GPT 只是变压器的解码器部分。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
重磅 Llama-3最强开源大模型惊艳亮相
2301_76168381的博客
04-23 913
Llama-3采用突破性技术，包括掩码查询和分组查询注意力，为问答和摘要生成提供卓越的准确性和全面性。在大量的测试数据中，Llama-3展示出非凡的性能，体现了Meta在语言理解模型方面的领先地位。大模型的Transformer架构的核心是强大的自我注意力机制。它处理序列数据，通过加权聚合每个元素，揭示重要关系。这种技术为机器学习模型提供了深入理解复杂序列的能力。Llama-3介绍自注意力机制通常与掩码技术结合使用，确保模型不会越过文档边界。掩码应用于注意力权重矩阵，指示有效信息的位置并忽略无关信息。
Llama3 中文版本地环境搭建和部署实战 一文读懂
程序员鑫港的博客
07-20 2234
Meta Llama 3 模型，包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能。Llama 3 在超过 15 万亿个标记上进行训练，比 Llama 2 的数据集大 7 倍多。它大大降低了错误拒绝率，并提供了更高的响应一致性和多样性。此外，它还集成了新的信任和安全工具，如 Llama Guard 2、Code Shield 和 CyberSec Eval 2。项目开源地址。
探索和构建 LLaMA 3 架构：深入探究组件、编码和推理技术
最新发布
ms44的专栏
08-19 1421
Meta 推出了 Llama 3，这是其 Llama 系列开源 AI 模型中的最新产品。Llama 3 有两种版本：一种具有 80 亿个参数，另一种具有 700 亿个参数。Meta 声称 Llama 3 在这些参数规模上为大型语言模型树立了新标准。他们改进了训练前和训练后流程，从而降低了错误拒绝率、提高了对齐效果，并提高了模型的响应多样性。值得注意的是，Llama 3 在推理、代码生成和指令跟踪方面的能力得到了增强。© 由 Meta 提供/wp:image。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 3906
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 3
qq_51957239的博客
05-20 1万+
2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最先进的性能，并提供了新的功能，包括改进的推理能力。
AI多模态模型架构之LLM主干(3)：Llama系列
AIGCmagic的博客
07-05 1211
初期，小模型的损失下降较快，但随着训练的深入，小模型的性能逐渐饱和，下降速度减缓，而大模型的下降速度则超过了小模型。根据传统Scaling Law的建议，对于10B模型，应使用2000亿token进行训练，但Meta发现，即使是7B模型，使用1万亿token后，性能仍能持续提升。在后续的Llama系列中，Llama-1全部采用了公开渠道可以获取的数据，使用了2017至2020年的CommonCrawl数据，以及来自书籍和维基百科的文本，并且进行了去重，去掉了非英文数据，用线性模型对文本质量进行了分类。
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
【李沐论文精读】GPT、GPT-2和GPT-3论文精读
Emily的博客
03-07 5619
zero-shot例子（这就可以看到ChatGPT雏形了）：
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
Llma3大模型----五一共学笔记-1
m0_69367153的博客
05-19 1074
鲁迅曾经说过：看完这篇Llma微调课程你学不会，来找我，包学会的
Llama3 中文版本地环境搭建和部署实战
m0_59235699的博客
06-26 1388
这两天科技新闻中Llama 3消息刷爆了，中国时间 2024 年 4 月 19 日 0 点 0 分，Meta Llama 3 发布。模型以开源形式提供，包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能。Llama 3 在超过 15 万亿个标记上进行训练，比 Llama 2 的数据集大 7 倍多。它大大降低了错误拒绝率，并提供了更高的响应一致性和多样性。
Llama3微调教程：超简单，人人都可以打造属于自己的GPT！
huang9604的博客
05-21 2129
随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。
浅谈宇宙最强开源大模型Llama3如何应用
Trb701012的博客
05-01 1777
Llama系列模型由Meta公司开发，旨在通过大规模的参数和先进的Transformer架构，处理复杂的语言任务。Llama家族图谱2023年2月，Meta发布Llama-1 系列开源大模型，是当时性能非常出色的开源模型之一，有7B、13B、30B和65B四个版本。Llama-2 系列2023年7月，Meta发布了Llama-2系列，有7B、13B、34B和70B四个版本。2023年8月，Meta发布了Code-Llama，共有7B、13B、34B和70B四个版本。Llama-3 系列。
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
程序猿赵高的博客
05-29 1718
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署
程序员陆通
04-21 1万+
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
qq_39967751的博客
04-26 2098
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值