高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!

通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇

本文将手把手教你分别在魔搭免费GPU算力环境、本地环境部署运行ComfyUI工作流,玩转Wan2.1文生视频、图生视频案例实践。
这份完整版的工作流已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述
01 魔搭Notebook运行ComfyUI文生视频工作流

step1 如何在魔搭中启动Notebook

1、打开ModelScope 魔搭社区首页,点击我的Notebook
img
2、魔搭社区免费提供的GPU免费算力上体验,选择方式二启动后点击查看Notebook

img img

step2 安装ComfyUI及其依赖

1、打开Notebook终端

在页面中选择Terminal

img

2、克隆ComfyUI仓库

在Notebook终端中运行如下命令,将官方的ComfyUI的仓库克隆下来:

  git clone https://github.com/comfyanonymous/ComfyUI.git

img

克隆过程中可能遇到这个报错,提示“RPC失败”:

img

这是因为http协议版本的问题导致网络连接失败,版本降低至1.1即可解决。命令如下:

  git config --global http.version HTTP/1.1  git clone https://github.com/comfyanonymous/ComfyUI.git  git config --global http.version HTTP/2

完成的界面像这样:

img

3、安装依赖

使用pip安装运行ComfyUI服务所需的环境依赖:

cd ComfyUIpip install -r requirements.txt
4、验证安装

运行以下命令启动ComfyUI服务,测试是否成功安装。

python main.py

如果服务成功启动,将在终端中看到http://127.0.0.1:8188的提示

img

点击这个链接就可以进入comfyui的界面啦!

step3 文生视频工作流

以通义万相wan2.1-t2v-1.3b文生视频模型为例,演示如何运行工作流。

1、下载模型

wan2.1-t2v-1.3b文生视频模型包含3个组件,文本编码器、扩散模型和视频解码器。我们需要从魔搭模型库中下载3个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

  • 文本编码器:

    • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 扩散模型

    • split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器

    • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae

命令行如下:

# 文本编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/# 扩散模型modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors --local_dir ./models/diffusion_models/# 视频解码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

img

点击http://127.0.0.1:8188链接进入comfyui的界面

img

3、运行文生视频工作流

ComfyUI启动后会自动打开一个默认的工作流,可以不用管它。我们需要下载wan2.1的示例工作流文件,然后将文件拖入ComfyUI界面。

wan2.1的示例工作流文件:

https://modelscope.cn/notebook/share/ipynb/5eee8a46/text_to_video_wan.ipynb

拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。

img

视频生成完成之后的页面:

img

4、运行日志查看

终端界面上可以查看实时运行的日志:

img

nvidia-smi命令可以查看显存占用:

img

02 本地搭建ComfyUI图生视频工作流

如果你自己拥有GPU,则可以选择在本地部署工作流。本节以通义万相wan2.1-i2v-14b的图生视频模型为例,教你一步步用命令行运行图生视频的工作流。

step1 检查显卡信息

要运行万相wan2.1-i2v-14b文生视频ComfyUI工作流,需要高规格的显卡。生成512512大小的视频,显存大约需要44G;生成1280720尺寸的视频,显存需要53GB。运行nvidia-smi命令,检查显卡是否符合要求。

img

step2 安装ComfyUI及其依赖

此步骤同上,请查阅上一节step2。

step3 图生视频工作流

** **
1、模型下载

wan2.1-i2v-1.3b文生视频模型包含4个组件,图片编码器、文本编码器、视频扩散模型和视频解码器。我们需要从魔搭模型库中下载4个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

  • 图片编码器

    • split_files/clip_vision/clip_vision_h.safetensors →ComfyUI/models/clip_vision
  • 文本编码器

    • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 视频扩散模型

    • split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器

    • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae

命令行如下:

# 图片编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/clip_vision/clip_vision_h.safetensors --local_dir ./models/clip_vision/# 文本编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/# 视频扩散模型modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors --local_dir ./models/diffusion_models/# 视频解码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

img

点击http://127.0.0.1:8188链接就可以进入comfyui的界面

3、上传工作流运行

下载wan2.1的图生视频示例工作流文件,然后将文件拖入ComfyUI界面。

wan2.1的示例工作流文件:

这份完整版的工作流已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。

img

### 通义2.1本地部署教程和配置指南 #### 部署环境准备 为了成功部署通义2.1,在本地环境中需预先安装并配置必要的软件包和支持库。通常情况下,这包括但不限于Python解释器及其依赖项、虚拟环境管理工具如`virtualenv`或`conda`等。 对于操作系统的要求,建议采用Linux发行版或是具备良好兼容性的Windows子系统(Linux)版本[^1]。 ```bash sudo apt-get update && sudo apt-get install python3-pip virtualenv -y ``` #### 获取源码与初始化项目结构 通过官方渠道下载最新发布的通义2.1压缩包文件,并解压至目标目录下;或者克隆GitHub仓库中的对应分支获取最新的开发状态副本。完成之后进入工程根路径执行初始化命令创建独立运行所需的全部基础架构。 ```bash git clone https://github.com/your-repo/tongyi-wanxiang.git cd tongyi-wanxiang virtualenv venv --python=python3 source ./venv/bin/activate pip install -r requirements.txt ``` #### 数据集加载与预处理 根据具体应用场景的不同,可能还需要额外的数据准备工作。这部分工作涉及数据清洗、转换格式等一系列操作以确保输入符合预期标准。部分大型语言模型可能会自带训练好的权重参数可以直接用于推理阶段而无需重新训练整个网络结构。 #### 启动服务端口监听 当一切就绪后即可启动API服务器对外提供RESTful接口访问权限。默认情况下会绑定到localhost上的8080端口上等待客户端发起请求连接。如果希望开放给外部网络则需要调整应的防火墙策略允许特定IP地址范围内的设备接入。 ```bash export FLASK_APP=wsgi.py flask run --host=0.0.0.0 --port=8080 ``` #### 测试验证功能正常性 最后一步是对刚刚搭建起来的服务实例进行全面的功能测试,确认各个模块之间交互无误且能够稳定输出期望的结果。可以借助Postman这类形界面HTTP调试工具发送模拟查询指令观察返回值是否合理有效。 ```json { "prompt": "你好世界", "max_tokens": 50, "temperature": 0.7 } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值