Qwen2-VL-Instruct安装及测试记录

最新推荐文章于 2025-04-02 13:45:16 发布
最新推荐文章于 2025-04-02 13:45:16 发布
阅读量1.4k 收藏 24
点赞数 17
分类专栏： 人工智能应用 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OkGogooXSailboat/article/details/145325877
版权

1 相关软件地址

2 硬件环境

● 16vCPU(虚拟中央处理单元)

● 60G内存

● 80G硬盘

● 24G显存A10

3 软件环境

ubuntu v24

4 安装软件要求

MiniConda3

nvdia A10显卡驱动：12.4.0

cuda:12.4.0

cudnn 9.6.0

5 软件安装过程

5.1 查看/修改安装源

# 查看当前软件源
cat /etc/apt/sources.list

# 如果没有阿里云的镜像源，添加上。
# 阿里云的软件源是：
deb https://mirrors.aliyun.com/ubuntu/ noble main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ noble main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ noble-security main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ noble-security main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ noble-updates main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ noble-updates main restricted universe multiverse

# deb https://mirrors.aliyun.com/ubuntu/ noble-proposed main restricted universe multiverse
# deb-src https://mirrors.aliyun.com/ubuntu/ noble-proposed main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ noble-backports main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ noble-backports main restricted universe multiverse

5.2 安装miniconda3（Python虚拟环境）

使用MiniConda3安装并管理Python，便于版本依赖环境隔离。

  1. 下载安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  1. 执行安装脚本
chmod +x Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

安装截图：

执行安装脚本后，一直按回车，直到出现输入yes or no的选项，输入yes

是否更改默认路径，如果需要更改则输入新的安装路径后回车。

是否要在安装过程中执行初始化，默认是no，这里输入yes。

安装成功后输入source ~/.bashrc更新环境变量；

输入conda验证是否安装成功。

5.3 安装显卡驱动

  • 官网下载驱动

https://www.nvidia.cn/drivers/lookup/

对应显卡，依次选择筛选条件，版本选择为12.4，设置好条件后，点击“查找”，

点击“查看”

点击“下载”按钮，下载显卡驱动；或者，右键点击下载按钮，复制下载链接，之后在服务器上使用wget命令下载。例如：

wget https://cn.download.nvidia.com/tesla/550.127.08/NVIDIA-Linux-x86_64-550.127.08.run
  • 确保系统中已安装gcc-12和make环境
sudo apt update
sudo apt install gcc-12 make
  • 安装显卡驱动
chmod +x NVIDIA-Linux-x86_64-550.127.08.run
sudo ./NVIDIA-Linux-x86_64-550.127.08.run

最低0.47元/天 解锁文章
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 4153
使用ms-swift高效微调qwen2-7b-instruct
多模态RAG利器，带你跑通Qwen2-VL-7B-Instruct大模型
m0_59164304的博客
11-28 1235
打造一个多模态RAG系统，就是把先进的AI技术应用到简化文档检索中。通过将Byaldi和Qwen模型等工具集成到易用的Streamlit应用里，我们能更高效地在海量信息中找到所需。在这个数据爆炸的时代，这样的系统变得不可或缺，它助力我们个人和组织更好地理解和利用信息。不管你是深入研究的学者，还是需要迅速获取报告的职场人，这个系统都能帮你轻松应对。按照这个指南，搭建起你自己的多模态RAG系统，让检索信息变得既快速又准确，彻底改变你与数字内容的互动方式。让我们一起迈入更智能、更高效的信息检索新时代！
如何使用Qwen2-VL-7B-Instruct模型完成多模态任务
gitblog_02881的博客
12-09 1120
如何使用Qwen2-VL-7B-Instruct模型完成多模态任务 Qwen2-VL-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-VL-7B...
华为昇腾Qwen2-VL-7B-Instruct模型训练微调推理
最新发布
qq_52293026的博客
04-02 820
主要描述了如何使用华为昇腾的设备在云上搭建一个Qwen2-VL-7B-Instruct模型，并且用自定义数据集进行训练，微调，推理。其它模型可以参考。
深度解析：Qwen2-VL-7B-Instruct 模型的安装与使用教程
gitblog_02582的博客
12-12 2519
深度解析：Qwen2-VL-7B-Instruct 模型的安装与使用教程 Qwen2-VL-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-VL...
在NVIDIA 4070Ti显卡上部署Qwen2-VL-7B-Instruct大模型的过程
haibo2144的博客
12-26 2840
通过上述步骤，我们成功地在NVIDIA 4070Ti显卡上部署了 Qwen2-VL-7B-Instruct 大模型。我们通过混合精度计算（FP16）和 Flash Attention 2 技术显著优化了显存的使用，确保模型在较低显存的情况下也能顺利运行。在遇到显存不足等问题时，通过调整生成的最大token数量和使用更小的batch size，我们有效地避免了显存溢出的问题。这为大模型的本地推理提供了一个实际可行的解决方案，能够在资源有限的环境中充分利用GPU加速，并且确保推理的高效性。
《Qwen2-VL-7B-Instruct模型参数设置详解》
gitblog_02188的博客
12-31 745
《Qwen2-VL-7B-Instruct模型参数设置详解》 Qwen2-VL-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-VL-7B-In...
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-集成vLLM（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-18 2万+
掌握Qwen2-VL与vLLM集成，提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
常见问题解答：关于 Qwen2-VL-7B-Instruct 模型
gitblog_02894的博客
12-18 574
常见问题解答：关于 Qwen2-VL-7B-Instruct 模型 Qwen2-VL-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-VL-7B...
掌握未来：新手快速入门Qwen2-VL-7B-Instruct模型
gitblog_02753的博客
12-19 635
掌握未来：新手快速入门Qwen2-VL-7B-Instruct模型 Qwen2-VL-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-VL-7B...
【Xinference】使用之【VLLM模型】qwen2-vl-instruct运行步骤及异常问题解决
Andy O`Connor的博客
09-26 4182
qwen2-vl-instruct模型运行异常处理：cannot import name 'Qwen2VLForConditionalGeneration' from 'transformers'
【大模型本地化部署】Qwen2VL-7B多模态大模型部署
2301_81940605的博客
10-29 4358
随着人工智能技术的飞速发展，多模态大模型逐渐成为研究和应用中的热点。Qwen2VL-7B，作为一个强大的多模态模型，具备理解和生成文本、图像以及视频等多种数据类型的能力。本文将详细介绍如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。
Qwen2-VL 视觉大模型 快速 Qwen2-VL-7B-Instruct部署
CSPhD-winston的博客
01-02 4128
再AutoDL上进行快速部署。
【全网最简单】5分钟 基于Win10 搭建本地最强对话大模型QWen2-7B 通义千问2
otbc1的博客
07-04 1919
5分钟 基于Win10 搭建本地最强对话大模型QWen2-7B 通义千问2
Qwen2本地web Demo
weixin_48435461的博客
06-24 3299
千问2前段时间发布了，个人觉得千问系列是我用过最好的中文开源大模型，所以这里基于streamlit进行一个千问2的web搭建，来进行模型的测试。
Qwen2-VL-7B-Instruct Qwen2-VL-7B
01-27
huggingface-cli download Qwen/Qwen2-VL-7B-Instruct --local-dir ./Qwen_VL_7B_Instruct ``` This command will fetch all relevant components needed for running inference against the specified variant ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值