在银河麒麟V10上离线安装千问VL - Qwen2-VL-72B-Instruct-GPTQ-Int4

已于 2025-03-18 19:17:15 修改
阅读量1.9k 收藏 19
点赞数 12
分类专栏： 大鹏运维记录 文章标签： 银河麒麟 kylin docker qwen2-vl 大模型 离线部署
于 2024-12-11 21:43:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/waitdeng/article/details/144409575
版权

Gone 是一个基于 Go 语言开发的轻量级依赖注入框架，专注于通过模块化设计和代码生成技术，帮助开发者构建可测试、易维护的应用程序架构。
推挤你使用，项目地址：https://github.com/gone-io/gone

文章目录

需要在客户服务器上安装 Qwen2-VL-72B-Instruct-GPTQ-Int4，不能联网，安装的系统是 银河麒麟V10
思路是在客服服务器上安装docker，然后通过docker运行vllm跑 Qwen2-VL-72B-Instruct-GPTQ-Int4

1.系统版本确认

[root@localhost nvidia-container-toolkit]# cat /etc/os-release
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Tercel)"
ID="kylin"
VERSION_ID="V10"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
ANSI_COLOR="0;31"

2.准备

下面这些操作建议在一台能联网的 银河麒麟V10 服务器上操作完成。

2.1 显卡驱动和CUDA，直接下载 CUDA Toolkit，里面自带驱动

进入 CUDA Toolkit 12.6 Update 3 Downloads 下载
在这里插入图片描述

  • 下载
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
  • 将 cuda_12.6.3_560.35.05_linux.run拷贝到U盘。

2.2 docker 和 docker-compose

下载linux二进制包，可以参考：

  1. https://docs.docker.com/engine/install/binaries/
  2. https://docs.docker.com/compose/install/standalone/
  • 下载
wget https://download.docker.com/linux/static/stable/x86_64/docker-27.4.0.tgz
wget https://github.com/docker/compose/releases/download/v2.30.3/docker-compose-linux-x86_64
  • 将 docker-27.4.0.tgz 和 docker-compose-linux-x86_64拷贝到U盘。

最低0.47元/天 解锁文章
开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解GPTQ模型量化技术，以低成本体验大语言模型的魅力
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
离线环境如何玩转LLM？Ollama一键部署指南（Ubuntu）
静心编程，禅意生活。
02-24 1132
本文介绍 Ubuntu下离线安装 Ollama 并使用 Ollama 部署 llama3.1-70b 大模型
麒麟银河桌面版，成功安装cuda12.6，mysql
SZ170110231的博客
09-21 2284
如果有输出，说明 nouveau 驱动正在加载。
大模型部署：QWen2-72B-Instruct模型安装部署过程（附教程）
最新发布
2401_82469710的博客
03-10 1240
大模型部署：QWen2-72B-Instruct模型安装部署过程（附教程）
【深度学习】LLaMA-Factory部署Qwen2-VL-72B-Instruct-GPTQ-Int4
q742971636的博客
10-09 292
https://www.dong-blog.fun/post/1737#%E9%83%A8%E7%BD%B2%20Qwen2-VL-72B-Instruct-GPTQ-Int4%20%E6%A8%A1%E5%9E%8B
部署Qwen2-VL-7B-Instruct-GPTQ-Int4进行推理，提示CUDA extension not installed.
qq_42248452的博客
11-29 468
auto-gptq CUDA extension not installed.
银河麒麟离线状态下安装rabbitMQ
zhangdaye88的博客
11-05 2253
银河麒麟离线状态下安装rabbitMQ
银河麒麟操作系统 v10 中离线安装 Docker
种一棵树最好的时间是十年前，其次是现在。
01-17 1万+
麒麟V10 离线安装 Docker、Docker-compose
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
本地部署千文2多模态大模型Qwen2-VL-7B-Instruct-GPTQ-Int4
yylhm1125的博客
09-24 2108
pip install optimum（安装这个模块的时候会卸载transformers，所以如果是先安装的transformers按完这个需要再次安装transformers，或者后安装transformers）3、安装modelscope（下载方式为魔塔社区命令行下载）第三部分 编写python代码加载模型并推理。第四部分 可能出现的问题（有待补充）2、安装代码运行环境。
银河麒麟v10x86或者arm离线安装服务
lgbisha的博客
10-26 9562
然后还有gperftools-libs也找到下载下来。
【Linux】环境搭建Qwen2-VL-7B模型（图文详解-成果案例）
m0_52985087的博客
11-22 4611
如果你服务器不支持访问Hugging Face的地址或者先通过代理下载到本地在上传到服务器，或者在服务器上通过魔塔社区地址进行下载。如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。把Files and versions 下文件全部下载，模型下载时间比较长，耐心等待。到此大功告成，web端部署成功。可以在服务器上通过命令，这个下载速度相对较快。主要修改模型加载路径和访问的地址端口。报错如下：百度之后发现是由于这是由于。需要开放对应的端口。
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
寻道AI，探索AI无限可能！
07-24 1万+
在人工智能领域，自然语言处理（NLP）一直是研究的热点之一。随着深度学习技术的不断发展，大型预训练语言模型（如Qwen2-7B-Instruct）在理解与生成自然语言方面取得了显著的进展。然而，这些模型往往需要大量的计算资源和数据来进行微调，以适应特定的应用场景。Lora微调技术作为一种高效的模型优化手段，为解决这一问题提供了新的思路。本文将深入探讨Lora微调技术在Qwen2-7B-Instruct模型上的应用，旨在为读者提供一种高效、低成本的模型定制化方法。
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1133
使用 vllm 本地部署 cohere 的 command-r
Docker LLama-Factory vLLM 快速部署Meta-Llama-3.1-70B-Instruct
q742971636的博客
11-04 636
more。
银河麒麟操作系统安装nvidia-container-toolkit
qq_37531673的博客
06-07 1071
【代码】银河麒麟操作系统安装nvidia-container-toolkit。
Qwen2-VL-7B-Instruct-AWQ vllm
12-30
### Qwen2-7B-Instruct-AWQ与vllm的使用说明 #### 下载文档 对于希望利用`Qwen2-VL-7B-Instruct-AWQ`模型并借助`vllm`工具来提升性能的研究者或开发者而言，获取必要的资源是第一步。可以从指定的项目地址下载所需材料[^1]。 #### 安装配置环境 安装过程中涉及创建适合运行该模型及其优化器`vllm`的工作环境。通常建议通过Docker容器化技术简化这一过程，确保不同操作系统上的兼容性和一致性[^2]。具体操作如下： ```bash docker pull registry.gitcode.com/hf_mirrors/ai-gitcode/qwen2-vl-7b-instruct:latest docker run -it --gpus all -p 8000:8000 qwen2-vl-7b-instruct bash ``` 上述命令用于拉取最新的镜像文件，并启动带有GPU支持的服务端口映射到本地8000端口上。 #### 升级vllm包 为了保持最佳实践状态以及获得最新特性，在实际部署前应当确认已安装版本是最新的。可以通过pip工具轻松完成更新动作[^3]: ```bash pip install --upgrade vllm ``` 此指令会自动处理依赖关系并将软件包升级至最高稳定版。 #### 示例代码展示 下面给出一段简单的Python脚本作为实例，展示了如何加载预训练好的`Qwen2-VL-7B-Instruct-AWQ`模型并通过`vllm`执行推理任务: ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained("qwen2-vl-7b-instruct-awq") model = AutoModelForCausalLM.from_pretrained("qwen2-vl-7b-instruct-awq", device_map="auto") input_text = "描述一张美丽的风景画" inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 这段程序实现了从输入提示词到生成对应描述的过程，其中包含了调用CUDA加速计算的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dapeng-大鹏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值