LLM大模型：QWen2-72B-Instruct模型安装部署过程

最新推荐文章于 2024-09-26 17:50:23 发布
最新推荐文章于 2024-09-26 17:50:23 发布
阅读量1.3k 收藏 27
点赞数 28
文章标签： 人工智能 架构 科技 产品经理 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84206094/article/details/141599401
版权

最近在给我们的客户私有化部署我们的TorchV系统，客户给的资源足够充裕，借此机会记录下部署千问72B模型的过程，分享给大家！

一、基础信息

  • 操作系统：Ubuntu 22.04.3 LTS
  • GPU: A800(80GB) * 8
  • 内存：1TB

二、软件信息

Python: 3.10

Pytorch：2.3.0

Transformers：4.43.0

vLLM：0.5.0

cuda： 12.2

模型: QWen2-72B-Instruct

三、安装步骤

1、安装Conda

Conda 是一个开源的包管理系统和环境管理系统，旨在简化软件包的安装、配置和使用

对于Python环境的部署，能够非常方便的切换环境。

可以通过conda官网链接下载安装：https://www.anaconda.com/download#downloads

# 下载
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
# 安装
bash Anaconda3-2023.09-0-Linux-x86_64.sh
# 配置环境变量
echo 'export PATH="/path/to/anaconda3/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

安装完成后，通过命令验证安装是否成功

conda --version

安装完成之后，可以配置镜像源，方便快速下载依赖包

# 配置源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes


conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

conda的相关命令

 # 指定虚拟环境名称为llm，python版本是3.9
 conda create --name llm python=3.9
 # 激活conda新环境
 conda activate llm
 # 查看当前环境列表
 conda env list
2、下载QWen2-72B-Instruct模型

Huggingface：https://huggingface.co/Qwen/Qwen2-72B-Instruct

ModelScope：https://modelscope.cn/models/qwen/Qwen2-72B-Instruct

两个地址都可以下载，下载完成后，将模型文件存放在服务器上。

⚠️ 注意服务器的磁盘空间。

3、安装Pytorch等环境依赖信息

⚠️ 在安装Pytorch时，需要保证和cuda驱动版本保持一致，不然会出现各种莫名其妙的问题

版本选择参考：https://pytorch.org/get-started/locally/

通过conda创建一个新的环境，然后切换后安装依赖包

在这里插入图片描述

4、 安装vLLM

vLLM 框架是一个高效的大语言模型推理和部署服务系统，具备以下特性：

  • 高效的内存管理：通过 PagedAttention 算法，vLLM 实现了对 KV 缓存的高效管理，减少了内存浪费，优化了模型的运行效率。
  • 高吞吐量：vLLM 支持异步处理和连续批处理请求，显著提高了模型推理的吞吐量，加速了文本生成和处理速度。
  • 易用性：vLLM 与 HuggingFace 模型无缝集成，支持多种流行的大型语言模型，简化了模型部署和推理的过程。兼容 OpenAI 的 API 服务器。
  • 分布式推理：框架支持在多 GPU 环境中进行分布式推理，通过模型并行策略和高效的数据通信，提升了处理大型模型的能力。
  • 开源共享：vLLM 由于其开源的属性，拥有活跃的社区支持，这也便于开发者贡献和改进，共同推动技术发展。

GitHub：https://github.com/vllm-project/vllm

文档：https://docs.vllm.ai/en/latest/

在通过conda创建了初始环境后，可以直接通过pip进行安装

pip install vllm

更多的安装方式，可以参考官网文档：https://docs.vllm.ai/en/stable/getting_started/installation.html

5、模型验证

可以通过一个python脚本来验证当前的模型是否可用

脚本如下：

# test.py
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
import os
import json

def get_completion(prompts, model, tokenizer=None, max_tokens=512, temperature=0.8, top_p=0.95, max_model_len=2048):
    stop_token_ids = []
    # 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率
    sampling_params = SamplingParams(temperature=temperature, top_p=top_p, max_tokens=max_tokens, stop_token_ids=stop_token_ids)
    # 初始化 vLLM 推理引擎
    llm = LLM(model=model, tokenizer=tokenizer, max_model_len=max_model_len,trust_remote_code=True)
    outputs = llm.generate(prompts, sampling_params)
    return outputs


if __name__ == "__main__":    
    # 初始化 vLLM 推理引擎
    model='/mnt/soft/models/qwen/Qwen2-72B-Instruct' # 指定模型路径
    # model="qwen/Qwen2-7B-Instruct" # 指定模型名称，自动下载模型
    tokenizer = None
    # 加载分词器后传入vLLM 模型，但不是必要的。
    # tokenizer = AutoTokenizer.from_pretrained(model, use_fast=False) 
    
    text = ["你好，帮我介绍一下什么时大语言模型。",
            "可以给我将一个有趣的童话故事吗？"]

    outputs = get_completion(text, model, tokenizer=tokenizer, max_tokens=512, temperature=1, top_p=1, max_model_len=2048)

    # 输出是一个包含 prompt、生成文本和其他信息的 RequestOutput 对象列表。
    # 打印输出。
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

在终端执行python脚本，可以看到控制台是否正常输出

python test.py
6、启动服务 & 包装OpenAI格式的接口

验证模型可用后，那么就可以通过vLLM提供的模块，将整个模型服务包装成OpenAI格式的HTTP服务，提供给上层应用使用。

需要注意的参数配置：

  • --model 参数指定模型名称&路径。
  • --served-model-name 指定服务模型的名称。
  • --max-model-len 指定模型的最大长度，如果不指定，那么会从模型配置文件中自动加载，QWen2-72B模型支持最大128K
  • --tensor-parallel-size 指定多个GPU服务运行,QWen2-72B的模型，单卡GPU无法支撑。
  • --gpu-memory-utilization 用于模型执行器的GPU内存分数，范围从0到1。例如，值为0.5意味着GPU内存利用率为50%。如果未指定，将使用默认值0.9。vllm通过此参数预分配了部分显存，避免模型在调用的时候频繁的申请显存。

关于vllm的更多参数，可以参考官方文档：https://docs.vllm.ai/en/stable/models/engine_args.html

这里可以使用tmux命令来进行服务的运行。

tmux（Terminal Multiplexer）是一个强大的终端复用器，可以让用户在一个终端窗口中同时使用多个会话。使用 tmux 可以提高工作效率，便于管理长期运行的任务和多任务操作

python3 -m vllm.entrypoints.openai.api_server --model /mnt/torchv/models/Qwen2-72B-Instruct  --served-model-name QWen2-72B-Instruct --tensor-parallel-size 8 --gpu-memory-utilization 0.7

在这里插入图片描述

出现端口等信息则代表当前的模型服务启动成功！！！

首先创建一个新会话

tmux new -t llm

进入会话

tmux attach -t llm

启动命令：

python -m xxx

退出当前会话

如果没反应就多试几次

英文输入下 ctrl + b  然后输入d

通过curl命令验证大模型OpenAI接口服务是否可用，脚本如下：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "QWen2-72B-Instruct",
  "messages": [
      {
          "role": "user",
          "content": "给我讲一个童话故事"
      }
  ],
  "stream": true,
  "temperature": 0.9,
  "top_p": 0.7,
  "top_k": 20,
  "max_tokens": 512
}'

四、总结

目前的开源生态已经非常成熟了，vLLM这样的工具能够轻松实现对大模型的快速部署，工作效率上大大提升

五、References

官网资源等信息
资源地址
QWenGitHub：https://github.com/QwenLM/Qwen Huggingface：https://huggingface.co/Qwen ModelScope：https://modelscope.cn/organization/qwen?tab=model docs:https://qwen.readthedocs.io/zh-cn/latest/getting_started/quickstart.html#
Pytorchhttps://pytorch.org/get-started/locally/
Condahttps://www.anaconda.com
vLLMhttps://docs.vllm.ai/en/latest/getting_started/installation.html
权重文件下载不完全

在本次部署过程中，碰到了下载模型权重文件不完整的情况，导致通过vLLM部署不起来，可以通过Linux的命令sha256sum工具来对模型权重文件进行检查，对比网站上的模型权重文件的sha256是否一致，如果不一致，需要重新下载安装

命令如下：

sha256sum your_local_file

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望
阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍
阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

本文转自 https://blog.csdn.net/2301_81940605/article/details/141138420?spm=1001.2014.3001.5501，如有侵权，请联系删除。

鸡腿爱学习
关注
Qwen2本地部署的实战教程
herosunly的博客
06-07 11万+
本文主要介绍了Qwen2本地部署的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 4. 运行Qwen2-7B-Instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 1万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
阿里最新大模型Qwen2-72B-Instruct 开源体验
一个今天胜过两个明天
06-07 5231
Qwen2 是 Qwen 大型语言模型的新系列。对于 Qwen2，我们发布了许多基础语言模型和指令调优语言模型，范围从 0.5 到 720 亿个参数，包括专家混合模型。此存储库包含指令调整的 72B Qwen2 模型。与之前发布的 Qwen1.5 等最先进的开源语言模型相比，Qwen2 总体上超越了大多数开源模型，并在语言理解、语言生成、多语言能力、编码、数学、推理等一系列基准测试中表现出了与专有模型的竞争力。
阿里开源大模型 Qwen-72B 私有化部署
机器学习社区
12-30 5147
近期大家都知道阿里推出了自己的开源的大模型千问72B，据说对于中文非常友好，在开源模型里面，可谓是名列前茅。千问拥有有强大的基础语言模型，已经针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言（Qwen 模型在一系列基准数据集（）上优于类似模型大小的基线模型，这些数据集评估了模型在自然语言理解、数学方面的能力Qwen-72B 在所有任务上都比 LLaMA2-70B 取得了更好的性能，
多卡(3090)部署通义千问Qwen2-72B大模型并加速至38tps：vLLM库的使用和错误排查
EthanLifeGreat的博客
07-08 2370
下面是Hugging Face transformer版的千问2，token生成速度在15个每秒左右，但还不够快，在这篇文章里我们用vLLM将速度翻倍，达到38tokens/s。做了Qwen1的加速，其中关于Auto-GPTQ的安装问题在Qwen2中依然适用。可以看到，短上下文的处理速度达到了恐怖的38.7tokens/s，与官方给出的A100速度基本持平。相比于开头的transformer版本，速度提升了两倍有余。vllm后台仍然识别不到nccl，想用vLLM加速处理，于是参考了。
阿里通义千问大模型Qwen2-72B-Instruct通用能力登顶国内第一！
weixin_47201270的博客
07-15 1241
从图中我们不难看出，Qwen2-72B-Instruct模型在所有测试的上下文长度中，无论是事实检索还是文档深度检索，都展现出了较高的准确性，特别是在较短的上下文长度下。在中文大模型测评基准 SuperCLUE 的总榜单中，阿里通义千问的开源模型 成为排名第一的中国大模型，也是全球最强的开源模型。另外在针对大模型泛化性的问题上，Qwen2特别针对除了中英文之外的27种语言进行了增强，显著提升了Qwen2在多语言上的能力。在开源排行榜单中 Qwen2-72B毫无疑问直接干到了第一名的位置。
开源模型应用落地-Qwen2-7B-Instruct-Lora与vllm-单机多卡-RTX 4090双卡（十五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-12 1万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct和Lora权重
LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
最新发布
Mystra
09-26 1142
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机多卡-RTX 4090双卡（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1万+
使用Axolotl高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机单卡-V100（十三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 3174
使用ms-swift合并微调后的模型权重
Qwen72B-int4 服务器部署（服务器部署 和 web交互部署）
2203_76105805的博客
05-08 3058
我这里用的是算力云 选择的是两张4090 扩容是50G进入终端输入命令切换文件 cd autodl-tmpcurl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh sudo apt-get update sudo apt-get install git-lfs1.pip install "transformers>=4.32.0" accelerate tiktoken einops scipy tra
教程：A5000 GPU 上运行阿里最新开源大模型 Qwen2
DO_Community的博客
06-13 2175
在本文中，我们将展示使用 Ollama 运行下一代大语言模型阿里 Qwen2 的最简单方法。你将会发现，这个模型在性能上已经超越了 Mistral 和 Llama3。
下载qwen2-72b报错
u013092227的博客
08-06 289
1
大模型【Qwen2-7B本地部署（WEB版）】（windows）
略知12的博客
07-11 4576
大模型是截止2024年上半年最强的AI，Qwen2是刚出来的号称国内最强开源大模型。这是大模型系列的第一篇文章，旨在快速部署看看最近出来的大模型效果怎么样，效果ok的话就微调自己的GPTs了。
【阿里YYDS】通义千问正式开源 Qwen2
weixin_41446370的博客
06-08 1173
Qwen2–72B正式开源，性能全面超越开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。在过去一段时间里，Qwen系列模型从Qwen1.5升级到Qwen2，Qwen2分5个尺寸，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。此次开源的Qwen2是阿里云最强模型，目前已经在Hugging Face和ModelScope上同步开源信息，用户可下载使用。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 8060
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
一文讲透大模型 Qwen2 的训练与推理
2401_84033492的博客
06-29 2453
通义千问最近问鼎开源模型Top 1 ，今天我来分享一下Qwen2系列模型，Qwen2系列模型是Qwen1.5系列模型的重大升级。包括了：5个尺⼨的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中⽂英语的基础上，训练数据中增加了27种语⾔相关的⾼质量数据；多个评测基准上的领先表现；代码和数学能⼒显著提升；增⼤了上下⽂⻓度⽀持，最⾼达到128K tokens（Qwen2-72B-Instruct）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值