DiffSynth Studio是一个扩散引擎,也是一个开源的AI视频生成工具。不仅可以将视频转绘成动漫视频,支持sd的各种插件与模型调控,风格多样。
同时也具备AI绘画的功能,相比于stablediffusion的高学习门槛,DiffSynth基本是上手就会,操作简单!
功能特点:
AI绘画
图像高清修复
长视频合成
视频转动漫
视频风格化
DiffSynth Studio本地部署指南
以下是部署 DiffSynth Studio 的详细步骤,包括所需的前置条件、每一步可能会遇到的问题及解决方案,以及每一步的代码和成功提示信息。指南针对完全没有代码经验的新手用户。
GitHub上的地址
https://github.com/modelscope/DiffSynth-Studio/tree/main
前置条件(网络环境必备)
a.Anaconda 下载页面
b.下载并安装 Anaconda(Python 3.8 版本)。
a.确保已安装最新的 NVIDIA GPU 驱动,NVIDIA 驱动下载页面。
b.根据你的显卡型号下载并安装驱动。
-
安装 Git:
-
Git 下载页面
-
下载并按照默认设置安装。
-
-
安装 Anaconda:
-
安装 NVIDIA 驱动:
1.安装 Anaconda
确保你的系统上已经安装了 Anaconda。如果未安装,请从 Anaconda 官网 下载并安装。
2.添加环境变量
安装 Anaconda 后,需要添加 Anaconda 的环境变量,以便在命令行中方便使用 conda
命令。步骤如下:
-
右键点击“此电脑”,选择“属性”。
-
选择“高级系统设置”。
-
点击“环境变量”。
-
在“系统变量”部分,找到并双击“Path”。
-
添加 Anaconda 的安装路径,例如
C:\Users\你的用户名\Anaconda3
和C:\Users\你的用户名\Anaconda3\Scripts
。
3.创建和激活 Conda 环境
conda create -n torch_env python=3.8
conda activate torch_env
成功提示:
# To activate this environment, use
#
# $ conda activate torch_env
#
# To deactivate an active environment, use
#
# $ conda deactivate
4.安装 CUDA 和 cuDNN
-
下载 CUDA:
-
访问 NVIDIA CUDA Toolkit,选择对应版本(例如 CUDA 11.8),下载并安装。
-
-
下载 cuDNN:
-
访问 NVIDIA cuDNN,选择与 CUDA 版本匹配的 cuDNN 版本,下载 ZIP 文件。
-
解压缩 cuDNN 文件,将
bin
、include
和lib
文件夹中的文件复制到 CUDA 安装目录下相应的文件夹(例如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8
)。
-
-
添加 CUDA 和 cuDNN 的环境变量:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
-
在环境变量的
Path
中添加以下路径:
-
5.安装 PyTorch
确保 CUDA 和 cuDNN 已正确安装后,安装支持 CUDA 的 PyTorch:
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
成功提示:
Successfully installed torch-2.3.1+cu118 torchvision-0.18.1+cu118 torchaudio-2.3.1+cu118
6.验证 PyTorch 安装
进入 Python 解释器并运行以下代码:
import torch
print(torch.__version__)
print("CUDA available:", torch.cuda.is_available())
print("CUDA version:", torch.version.cuda)
print("cuDNN version:", torch.backends.cudnn.version())
成功提示:
2.3.1+cu118
CUDA available: True
CUDA version: 11.8
cuDNN version: 8200
可能出现的问题及解决方案:
-
如果
import torch
出现错误,确保 PyTorch 已正确安装,或者重新安装。 -
如果 CUDA 或 cuDNN 不可用,检查 CUDA 和 cuDNN 的安装路径和环境变量设置。
7.克隆 DiffSynth Studio 仓库
git clone https://github.com/your-username/DiffSynth-Studio.git
cd DiffSynth-Studio
8.安装 DiffSynth Studio 依赖
确保在 torch_env
环境中:
pip install -r requirements.txt
成功提示:
Successfully installed ... (列出所有安装的依赖包)
可能出现的问题及解决方案:
-
如果遇到依赖冲突,尝试逐个安装依赖包或使用
--ignore-installed
选项重新安装。
9.运行 DiffSynth Studio
确保在 DiffSynth Studio 的目录中:
streamlit run DiffSynth_Studio.py
成功提示:
Welcome to Streamlit!
If you'd like to receive helpful onboarding emails, news, offers, promotions, and the occasional swag, please enter your email address below. Otherwise, leave this field blank.
打开浏览器访问 http://localhost:8501
,你应该会看到 DiffSynth Studio 的界面。
可能出现的问题及解决方案:
-
如果命令行提示
streamlit: command not found
,确保已经在 Conda 环境中,并重新安装 Streamlit:pip install streamlit
。