DeepSeek-VL2 环境配置与使用指南

已于 2025-02-14 21:27:46 修改
阅读量3.2k 收藏 48
点赞数 11
文章标签： 语言模型 计算机视觉
于 2025-02-14 21:24:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41854291/article/details/145641709
版权

DeepSeek-VL2 环境配置与使用指南

DeepSeek-VL2 是由 DeepSeek 公司开发的一种高性能视觉-语言模型（VLM）。它是 DeepSeek 系列多模态模型中的一个版本，专注于提升图像和文本之间的交互能力。

本文将详细介绍如何配置 DeepSeek-VL2 的运行环境，并展示如何下载、运行模型以及使用多 GPU 支持。本文内容适用于需要快速上手 DeepSeek-VL2 的开发者。

什么是 VLM？

VLM 是 Vision-Language Model（视觉-语言模型）的缩写。它是一种结合了计算机视觉和自然语言处理技术的多模态模型。VLM 能够同时理解和生成图像与文本信息，适用于多种跨模态任务，例如：

  • 图像描述生成（Image Captioning）
  • 视觉问答（Visual Question Answering, VQA）
  • 图文检索（Image-Text Retrieval）
  • 图像编辑指导（Image Editing with Text Instructions）

VLM 的核心在于将视觉特征（来自图像）和语言特征（来自文本）进行联合建模，从而实现对两种模态数据的深度理解。

部分开源VLM性能对比

在这里插入图片描述

1. Conda 环境配置

1.1 创建 Python 3.8 环境

conda create --name dk python=3.8
  • 创建一个名为 dk 的 Python 3.8 环境。

1.2 安装 PyTorch 及相关库

conda install pytorch==2.0.1 pytorch-cuda=11.8 -c pytorch -c nvidia
conda install torchvision==0.15.2 -c pytorch -c nvidia
conda install torchaudio==2.0.1 -c pytorch -c nvidia
  • 安装 PyTorch 2.0.1 及 CUDA 11.8 支持，同时安装兼容版本的 torchvision 和 torchaudio。

1.3 参考链接

2. 代码下载与依赖安装

2.1 克隆代码库

git clone https://github.com/deepseek-ai/DeepSeek-VL2.git
cd DeepSeek-VL2
  • 克隆 DeepSeek-VL2 代码库并进入项目目录。

2.2 安装依赖

conda activate dk
pip install -e .
pip install -r requirements.txt
  • 激活 dk 环境，并安装项目所需的依赖包。

3. 模型下载

3.1 使用 Huggingface 下载模型

# 下载 DeepSeek-R1 模型
huggingface-cli download deepseek-ai/DeepSeek-R1 --local-dir deepseek-ai/DeepSeek-R1

# 下载 DeepSeek-VL2 模型
huggingface-cli download deepseek-ai/deepseek-vl2-tiny --local-dir deepseek-ai/deepseek-vl2-tiny
huggingface-cli download deepseek-ai/deepseek-vl2-small --local-dir deepseek-ai/deepseek-vl2-small
huggingface-cli download deepseek-ai/deepseek-vl2 --local-dir deepseek-ai/deepseek-vl2
  • 使用 huggingface-cli 下载不同规模的 DeepSeek-VL2 模型。

4. 模型运行

4.1 测试模型

python inference.py --model_path=deepseek-ai/deepseek-vl2-tiny
python inference.py --model_path=deepseek-ai/deepseek-vl2-small
python inference.py --model_path=deepseek-ai/deepseek-vl2
  • 使用 inference.py 脚本测试不同规模的模型。

4.2 启动 Web 演示

# 需要 20G GPU 显存
python web_demo.py --model_name=deepseek-ai/deepseek-vl2-tiny

# 需要 40G GPU 显存
python web_demo.py --model_name=deepseek-ai/deepseek-vl2-small

# 需要 80G GPU 显存
python web_demo.py --model_name=deepseek-ai/deepseek-vl2
  • 启动 Web 演示界面，不同规模的模型对 GPU 显存的需求不同。

5. 多 GPU 支持

5.1 修改 inference.py 以支持多 GPU

import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"

def split_model(model_name):
    device_map = {}
    model_splits = {        
        # 'deepseek-ai/deepseek-vl2-tiny': [13, 14], # 2 GPU
        'deepseek-ai/deepseek-vl2-small': [13, 14], # 2 GPU 
        'deepseek-ai/deepseek-vl2': [13, 14], # 2 GPU
    }
    num_layers_per_gpu = model_splits[model_name]
    num_layers = sum(num_layers_per_gpu)
    layer_cnt = 0
    for i, num_layer in enumerate(num_layers_per_gpu):
        for j in range(num_layer):
            device_map[f'language.model.layers.{layer_cnt}'] = i 
            layer_cnt += 1
    device_map['vision'] = 0
    device_map['projector'] = 0
    device_map['image_newline'] = 0
    device_map['view_seperator'] = 0
    device_map['language.model.embed_tokens'] = 0
    device_map['language.model.norm'] = 0
    device_map['language.lm_head'] = 0
    device_map[f'language.model.layers.{num_layers - 1}'] = 0
    return device_map

def load_model(model_path, dtype=torch.bfloat16):
    vl_chat_processor = DeepseekVLV2Processor.from_pretrained(model_path)
    tokenizer = vl_chat_processor.tokenizer

    # csdn2k
    device_map = split_model(model_path)
    vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(
        model_path, 
        trust_remote_code=True, 
        torch_dtype=dtype,
        device_map=device_map
    ).eval()
    return tokenizer, vl_gpt, vl_chat_processor
  • 通过 split_model 函数实现模型在多 GPU 上的分布式加载。

5.2 参考链接

6. Docker 镜像源更换

6.1 更换 Docker 镜像源

{
  "registry-mirrors": [
    "https://docker.m.daocloud.io/",
    "https://huecker.io/",
    "https://dockerhub.timeweb.cloud",
    "https://noohub.ru/",
    "https://dockerproxy.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://docker.nju.edu.cn",
    "https://xx4bwyg2.mirror.aliyuncs.com",
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]
}
  • 更换 Docker 镜像源以加速镜像下载。

6.2 参考链接

7. Gradio 演示

8. 提示词示例

9. 对话示例

9.1 单张图片对话

# 1 image
Conversation(name='deepseek', system_template='{system_message}', system_message='', roles=('<|User|>', '<|Assistant|>'), messages=[['<|User|>', ('<image>\n<|ref|>The giraffe at the back.<|/ref|>', [<PIL.Image.Image image mode=RGB size=724x1086 at 0x7D615AA524C0>])], ['<|Assistant|>', '']], offset=0, sep_style=<SeparatorStyle.DeepSeek: 1>, sep='\n\n', sep2='', stop_str=['User:', ''], stop_token_ids=[100001])

9.2 多张图片对话

# 3 images
Conversation(name='deepseek', system_template='{system_message}', system_message='', roles=('<|User|>', '<|Assistant|>'), messages=[['<|User|>', ('<image>\n<image>\n<image>\n能帮我用这几个食材做一道菜吗?', [<PIL.Image.Image image mode=RGB size=1024x701 at 0x7D6158534520>, <PIL.Image.Image image mode=RGB size=450x308 at 0x7D6158534430>, <PIL.Image.Image image mode=RGB size=1280x720 at 0x7D61585345B0>])], ['<|Assistant|>', '']], offset=0, sep_style=<SeparatorStyle.DeepSeek: 1>, sep='\n\n', sep2='', stop_str=['User:', ''], stop_token_ids=[100001])
  • 该部分展示了如何使用 generate_prompt_with_history 函数生成包含图片的对话。

10. 总结

本文详细介绍了 DeepSeek-VL2 的环境配置、模型下载与运行、多 GPU 支持等内容。希望这篇指南能帮助您快速上手 DeepSeek-VL2。如果您有任何问题，欢迎在评论区留言讨论！

希望这篇博客对您有所帮助！

zolty
关注
DeepSeek-VL2：面向多模态任务的先进视觉-语言理解模型
海棠AI实验室
02-01 2920
本文将从模型概述、主要特性、技术架构、安装与使用、推理示例、性能与评测、合规与风险以及未来发展等方面，对 DeepSeek-VL2 进行详细介绍，帮助读者快速上手并了解其潜在应用价值。
久等了，DeepSeek-VL2
强化学习曾小健
12-24 2504
视觉感知+语言推理，强强联手成就模型的视觉语义对话能力。）”，它会回答：“To cool down, you can use <|ref|>the fan<|/ref|><|det|>[[166, 460, 338, 712]]<|/det|> which is sitting on the desk.（为了降温，你可以使用 [[166, 460, 338, 712]] 位置处的风扇，它放在桌子上）”我们坚信，提升模型视觉能力的意义不仅在于支持更多的输入模态，更在于全方位提升模型的感知和认知能力。
DeepSeek-VL2部署指南
热门推荐
haibo2144的博客
12-24 3万+
DeepSeek-VL2是一款力图学习和实现深度学习和视觉语言结合的工具包。本文将介绍如何在本地环境中安装和部署DeepSeek-VL2。
DeepSeek-VL2解读
最新发布
xuebodx0923的博客
03-16 1012
这是一系列先进的大型混合专家(MoE)视觉语言模型，比其前身DeepSeek-VL有了显著改进。DeepSeek-VL2在各种任务中都表现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解和视觉基础。我们的模型系列由三个变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和，他们之间的主要区别在于基础LLM。基于DeepSeekMoE-3B 构建（总激活参数为 1.0B）
以DeepSeek-VL为例，详解视觉语言模型原理及代码
zenRRan的博客
08-27 3689
来自：炼钢AI最近开始看看视觉语言模型（VLM）相关的东西了，之前没特别仔细看过代码。翻了几篇比较知名的开源VLM技术报告，感觉DeepSeek-VL算是写的比较好的，因此本文就以DeepSeek-VL为例，结合代码写一写VLM的细节。VLM和LLM比较共性的东西比如Self Attention之类的本文就不过多介绍了，重点讲一讲VLM独有的内容。DeepSeek-VL github链接：htt...
Deepseek-vl2微调环境部署及各种报错解决方案
weixin_43971236的博客
02-19 2226
基于modelswift解决Deepseek-vl2大模型微调环境部署问题
DeepSeek-VL2使用swift微调的环境搭建和微调过程
盛世芳华
03-05 1752
最大模型用8张卡跑起来很难，需要降低--lora_rank、--lora_alpha、--max_length、--deepspeed、--per_device_train_batch_size、--gradient_accumulation_steps、--dataloader_num_workers才能刚好跑起来，虽然跑起来了，但训练速度却非常的慢。模型合并后，将模型复制到deepseek-vl2/deepseek-ai/目录下，使用deepseek-vl2的web.demo可以跑一下看看运行效果。
DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
Together_CZ的博客
12-26 3487
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
本地部署DeepSeek-VL2服务
cswhit的博客
02-27 1372
DeepSeek-VL2服务部署
深度学习模型 DeepSeek-VL2 及其消费级显卡需求分析
haibo2144的博客
12-20 1万+
DeepSeek-VL2 是基于深度学习的视觉语言模型，其主要特点如下：混合专家架构：DeepSeek-VL2 采用了混合专家（MoE）架构，这使得模型在参数规模扩展的同时能够有效控制计算成本。通过分配专家来处理不同的任务，可以提高模型的计算效率。动态高分辨率视觉编码：该模型引入了动态平铺视觉编码策略，能够处理不同纵横比的高分辨率图像，提升视觉任务中的表现，尤其是在视觉定位、文档分析等任务中。
DeepSeek-VL2：开启多模态理解新纪元，一文读懂其技术革新与应用前景
大F子的智能小课
02-11 527
对于长篇文档，如合同、报告、论文等，DeepSeek-VL2能够快速阅读并理解文档的核心内容，生成准确的摘要。这有助于用户快速获取文档的关键信息，节省阅读时间，提高工作效率。例如，在法律领域，律师可以利用该模型快速浏览大量合同文本，提取关键条款和风险点。
--model_name "deepseek-ai/deepseek-vl2-tiny" \--port 8080
02-13
### 使用 `deepseek-ai/deepseek-vl2-tiny` 模型启动服务 为了使用特定的模型名称和端口号来启动服务，通常需要遵循一系列命令行操作以及环境变量设置。以下是针对 `model_name=deepseek-ai/deepseek-vl2-tiny` 和 ...
deepseek-VL2本地部署
01-03
对于希望在本地环境中部署 DeepSeek-VL2 的用户来说，了解具体的配置流程至关重要。首先，获取项目的最新版本是必要的操作之一： 通过 Git 命令可以轻松地将 DeepSeek-VL 仓库克隆至本地环境[^1]。 ```bash git ...
deepseek-vl2 机器人
03-14
### 关于 Deepseek-VL2 的使用指南和开发文档 Deepseek 是一种先进的多模态预训练模型系列，其中 Deepseek-VL2 属于视觉-语言（Vision-Language, VL）方向的版本之一[^1]。以下是关于其使用指南和开发文档的相关...
deepseek-vl包下载
01-10
最简便的方法是从 GitHub 上克隆项目仓库并按照官方指南完成环境配置。 #### 方法一：通过 pip 工具安装 如果 `deepseek-vl` 提供了 PyPI 发布版本，则可以直接使用 pip 来安装： ```bash pip install deepseek-vl...
DeepSeek-VL2实战指南：一步步构建您自己的智能视觉问答系统！
SJJS_1的博客
02-07 3528
DeepSeek-VL2，这是一系列先进的大型混合专家 (MoE) 视觉语言模型，其显著改进了其前身 DeepSeek-VL。DeepSeek-VL2 在各种任务中都表现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解和视觉基础。我们的模型系列由三个变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别具有 1.0B、2.8B 和 4.5B 激活参数。
【DeepSeek-VL2报告解读】Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
weixin_45921929的博客
02-06 1593
【DeepSeek-VL2报告解读】Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值