在银河麒麟V10上离线安装千问VL - Qwen2-VL-72B-Instruct-GPTQ-Int4

原创 已于 2025-03-18 19:17:15 修改
· 2.1k 阅读 · 20 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#银河麒麟 #kylin #docker #qwen2-vl #大模型 #离线部署

于 2024-12-11 21:43:53 首次发布

Gone 是一个基于 Go 语言开发的轻量级依赖注入框架，专注于通过模块化设计和代码生成技术，帮助开发者构建可测试、易维护的应用程序架构。
推挤你使用，项目地址：https://github.com/gone-io/gone

文章目录

需要在客户服务器上安装 Qwen2-VL-72B-Instruct-GPTQ-Int4，不能联网，安装的系统是 银河麒麟V10
思路是在客服服务器上安装docker，然后通过docker运行vllm跑 Qwen2-VL-72B-Instruct-GPTQ-Int4

1.系统版本确认

[root@localhost nvidia-container-toolkit]# cat /etc/os-release
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Tercel)"
ID="kylin"
VERSION_ID="V10"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
ANSI_COLOR="0;31"

2.准备

下面这些操作建议在一台能联网的 银河麒麟V10 服务器上操作完成。

2.1 显卡驱动和CUDA，直接下载 CUDA Toolkit，里面自带驱动

进入 CUDA Toolkit 12.6 Update 3 Downloads 下载
在这里插入图片描述

  • 下载
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
  • 将 cuda_12.6.3_560.35.05_linux.run拷贝到U盘。

2.2 docker 和 docker-compose

下载linux二进制包，可以参考：

  1. https://docs.docker.com/engine/install/binaries/
  2. https://docs.docker.com/compose/install/standalone/
  • 下载
wget https://download.docker.com/linux/static/stable/x86_64/docker-27.4.0.tgz
wget https://github.com/docker/compose/releases/download/v2.30.3/docker-compose-linux-x86_64
  • 将 docker-27.4.0.tgz 和 docker-compose-linux-x86_64拷贝到U盘。

最低0.47元/天 解锁文章
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解GPTQ模型量化技术，以低成本体验大语言模型的魅力
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1191
使用 vllm 本地部署 cohere 的 command-r
【Linux】环境搭建Qwen2-VL-7B模型（图文详解-成果案例）
m0_52985087的博客
11-22 4821
如果你服务器不支持访问Hugging Face的地址或者先通过代理下载到本地在上传到服务器，或者在服务器上通过魔塔社区地址进行下载。如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。把Files and versions 下文件全部下载，模型下载时间比较长，耐心等待。到此大功告成，web端部署成功。可以在服务器上通过命令，这个下载速度相对较快。主要修改模型加载路径和访问的地址端口。报错如下：百度之后发现是由于这是由于。需要开放对应的端口。
混合压缩部署实战：SmoothQuant × GPTQ × AWQ 全对比与兼容性演练
最新发布
努力分享一些人工智能相关的知识干货！
04-15 730
本篇我们将聚焦三大主流压缩路线： - **SmoothQuant**：算子友好、部署兼容性强，适配 vLLM **GPTQ**：精度保留最佳，QLoRA 同源，适合离线量化 **AWQ**：N:M 非对称压缩，自研推理框架性能突出
银河麒麟 关闭 X 服务器的情况下成功安装 NVIDIA 驱动
SZ170110231的博客
09-19 1403
银河麒麟 安装cuda
【深度学习】LLaMA-Factory部署Qwen2-VL-72B-Instruct-GPTQ-Int4
q742971636的博客
10-09 302
https://www.dong-blog.fun/post/1737#%E9%83%A8%E7%BD%B2%20Qwen2-VL-72B-Instruct-GPTQ-Int4%20%E6%A8%A1%E5%9E%8B
部署Qwen2-VL-7B-Instruct-GPTQ-Int4进行推理，提示CUDA extension not installed.
qq_42248452的博客
11-29 527
auto-gptq CUDA extension not installed.
银河麒麟离线状态下安装rabbitMQ
zhangdaye88的博客
11-05 2486
银河麒麟离线状态下安装rabbitMQ
银河麒麟操作系统 v10 中离线安装 Docker
种一棵树最好的时间是十年前，其次是现在。
01-17 1万+
麒麟V10 离线安装 Docker、Docker-compose
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
本地部署千文2多模态大模型Qwen2-VL-7B-Instruct-GPTQ-Int4
yylhm1125的博客
09-24 2204
pip install optimum（安装这个模块的时候会卸载transformers，所以如果是先安装的transformers按完这个需要再次安装transformers，或者后安装transformers）3、安装modelscope（下载方式为魔塔社区命令行下载）第三部分 编写python代码加载模型并推理。第四部分 可能出现的问题（有待补充）2、安装代码运行环境。
银河麒麟v10x86或者arm离线安装服务
lgbisha的博客
10-26 9974
然后还有gperftools-libs也找到下载下来。
离线部署视觉模型Qwen2.5-VL方案【企业应用级】
A15216110998的专栏
03-17 3656
公司网络是有严格限制，所有涉及境外服务器的网站都无法访问，包括docker等镜像源。本教程，是在提前下载或构建好资源，通过上传到服务器后，做离线部署。
银河麒麟V10-SP1-x86_64离线安装Docker
满天点点星辰的博客
11-20 2492
如何在银河麒麟V10-SP1_x86_64上离线安装docker和containerd
在linux服务器上部署通义千问国产的多模态大模型
Smilucky的博客
03-11 2463
本文介绍了如何在服务器部署国产开源的多模态大模型——通义千问
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
寻道AI，探索AI无限可能！
07-24 1万+
在人工智能领域，自然语言处理（NLP）一直是研究的热点之一。随着深度学习技术的不断发展，大型预训练语言模型（如Qwen2-7B-Instruct）在理解与生成自然语言方面取得了显著的进展。然而，这些模型往往需要大量的计算资源和数据来进行微调，以适应特定的应用场景。Lora微调技术作为一种高效的模型优化手段，为解决这一问题提供了新的思路。本文将深入探讨Lora微调技术在Qwen2-7B-Instruct模型上的应用，旨在为读者提供一种高效、低成本的模型定制化方法。
Qwen2-7B-Instruct-gptq-int4使用
02-21
### 使用 Qwen2-7B-Instruct-GPTQ-INT4 模型 #### 特点和应用场景 Qwen2-7B-Instruct-INT4 是阿里云推出的一个量化模型，拥有 70 亿个参数并经过指令微调，使其能更有效地理解与执行多种任务。此模型采用 GPTQ 方法进行了 INT4 的量化处理，在保持性能的同时显著降低了计算资源需求[^1]。 这种配置使得该模型特别适合于那些希望利用大型语言模型的强大功能而又受限于硬件条件的应用场景，比如小型服务器上的在线问答系统、移动设备端的文字辅助工具等。 #### 安装依赖库 为了能够在本地环境中顺利部署并使用上述提到的大规模多模态预训练模型——Qwen2-7B-Instruct-Int4，需按照如下命令依次安装所需的Python包： ```bash pip install opencv-python pip install uvicorn pip install fastapi pip install git+https://github.com/huggingface/transformers.git pip install qwen-vl-utils pip install torchvision pip install python-multipart pip install 'accelerate>=0.26.0' pip install optimum pip install auto-gptq ``` 注意：由于 `optimum` 库可能会覆盖之前已有的 `transformers` 版本，因此建议最后再单独更新一次 `transformers` 或者确保其版本是最新的稳定版[^2]。 如果遇到 CUDA 扩展未安装的问题，则可以通过指定特定版本来解决这个问题： ```bash pip install torch==2.2.1 pip install torchvision==0.17.1 pip install auto-gptq==0.7.1 ``` 这些操作可以有效避免因软件兼容性而导致的错误消息 "CUDA extension not installed."[^3]。 #### 推理过程示例 下面给出一段简单的 Python 脚本来展示如何加载已经准备好的 Qwen2-7B-Instruct-GPTQ-INT4 并进行基本的文本生成任务： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("path_to_model") # 替换为实际路径 model = AutoModelForCausalLM.from_pretrained("path_to_model", device_map="auto") input_text = "你好" inputs = tokenizer(input_text, return_tensors='pt').to('cuda') with torch.no_grad(): outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 这段代码展示了从加载模型到输入提示词直至最终获得输出结果的一系列流程。需要注意的是，“path_to_model” 需要被替换为你所下载或克隆下来的 Qwen2-7B-Instruct-GPTQ-INT4 文件夹的具体位置。 对于更加详细的指导以及更多高级特性的介绍，推荐查阅 Hugging Face 上提供的官方文档或是 GitHub 项目页面内的 README.md 文件，那里包含了更为详尽的操作指南和技术细节说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dapeng-大鹏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值