DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,附模型和工作流下载。

今天给大家介绍DeepSeek发布的Janus-Pro模型的ComfyUI实践教程,包含ComfyUI安装,模型下载,工作流下载等,欢迎大家一起交流学习,也欢迎添加公众号小助手加入读者交流群,一起探索AIGC好玩的应用。

Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

ComfyUI 的 Janus-Pro 节点是一个统一的多模态理解和生成框架。

安装方法

1. 通过 ComfyUI Manager 安装(推荐)

  • 安装 ComfyUI-Manager

  • 在管理器中搜索 "Janus-Pro"

  • 点击安装

2. 手动安装

将此仓库克隆到你的 ComfyUI 的 custom_nodes 文件夹中:

cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

安装所需依赖: Windows系统:

# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
# 使用ComfyUI的Python环境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt

# 或者使用你的环境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt

安装注意

如果你遇到安装问题可以从一下几个方面排查问题:

  • 确保已安装 git

  • 尝试更新 pip:

python -m pip install --upgrade pip
  • 如果使用代理,确保 git 可以访问 GitHub

  • 确保使用的是与 ComfyUI 相同的 Python 环境

模型下载

  • 将模型文件放在 ComfyUI/models/Janus-Pro 文件夹中:

  • 在 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹

  • 从 Hugging Face 下载模型:

    • Janus-Pro-1B:https://huggingface.co/deepseek-ai/Janus-Pro-1B

    • Janus-Pro-7B:https://huggingface.co/deepseek-ai/Janus-Pro-7B

  • 将模型解压到各自的文件夹中:

ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/

工作流下载

需要的小伙伴可以在公众号发送以下内容获取工工作流:

DeepSeek工作流

这个工作流节点包含了图像描述和图像生成

  • 在序号1 选择 1B 或者 7B 模型

  • 在序号2 上传你需要用于 Janus Pro 解读的图片

  • 在序号3 可以调整用于图片描述的 Prompt, - 我测试过中文、英文、日语输入都没有问题,但是如果你需要特定语言的输出,请你在 prompt 中声明,类似 请使用日语输出 这样的要求

  • 序号4 是一个展示 文本的节点,我这里使用的是ComfyUI-Custom-Scripts 插件中的 Show Text 节点

  • 在序号5 出输入用于图像生成的 prompt

### DeepSeek 多模态模型 Janus-Pro-7B 使用指南 #### 获取模型 为了使用 Janus-Pro-7B 模型,需先从指定网站下载模型文件。访问链接可获得最新版本的模型权重其他必要资源[^2]。 ```bash # 下载命令示例(具体路径可能有所不同) wget https://huggingface.co/deepseek-ai/Janus-Pro-7B/archive/main.zip unzip main.zip -d ./janus_pro_7b/ ``` #### 安装依赖库 安装必要的 Python 库来加载并运行此多模态模型。推荐使用虚拟环境隔离项目依赖项。 ```bash pip install transformers torch accelerate safetensors ``` #### 加载预训练模型 通过 Hugging Face 的 `transformers` 库可以轻松加载已保存的模型及其配置。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor model_name_or_path = "deepseek-ai/Janus-Pro-7B" processor = AutoProcessor.from_pretrained(model_name_or_path) model = AutoModelForVision2Seq.from_pretrained(model_name_or_path) ``` #### 数据准备与处理 对于输入数据,无论是文本还是图像都需要经过特定方式编码成适合喂给神经网络的形式。 ```python image_url = "http://example.com/path/to/image.jpg" # 替换成实际图片URL text_input = "描述这张照片的内容" inputs = processor(image=image_url, text=text_input, return_tensors="pt") ``` #### 执行推理任务 准备好所有前提条件之后就可以调用模型来进行预测了。这里展示了一个简单的例子用于说明如何执行一次前向传播操作得到输出结果。 ```python with torch.no_grad(): outputs = model.generate(**inputs) generated_text = processor.decode(outputs[0], skip_special_tokens=True) print(generated_text) ``` #### 进阶应用案例 除了基本的文字到文字转换外,Janus Pro 7B 支持更多样化的应用场景,比如基于视觉的理解能力以及跨媒体的信息生成等功能[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值