【前沿技术】超级稳定的视频卡通画方案

Git clone项目到本地

git clone git@github.com:Artiprocher/DiffSynth-Studio.git

基本原理

使用了stable diffusion稳定扩散模型和controlnet来控制图像生成的轮廓，animatediff控制视频帧与帧之间的连续性，最后使用RIFE技术平滑整个生成后的视频。

创建虚拟环境并安装相关依赖

cd DiffSynth-Studio conda env create -f environment.yml

解释一下environment.yml文件内容，如果以后自己想一键构建虚拟环境并安装相关依赖，可以参考此教程

• name: 指定创建的 Conda 环境的名称。

• channels: 指定 Conda 频道，即从哪些地方获取软件包。defaults 是默认的 Conda 频道，你还可以添加其他频道。

• dependencies: 列出项目所需的依赖包。你可以指定 Python 版本以及其他需要的包。如果使用 conda-forge 频道中的软件包，可以使用 conda-forge:: 前缀。

• 可以在 dependencies 下使用 pip 来指定使用 Pip 安装的软件包，例如：pip: - some_package。

创建 Conda 环境的步骤：

1. 将上述内容保存到一个名为 environment.yml 的文件中。

2. 打开终端或命令提示符，导航到包含 environment.yml 文件的目录。

3. 运行以下命令创建 Conda 环境：

conda env create -f environment.yml

激活虚拟环境

conda activate DiffSynthStudio

运行项目

下载模型到本地models目录

# `models/stable_diffusion/flat2DAnimerge_v45Sharp.safetensors`: [link](https://civitai.com/api/download/models/266360?type=Model&format=SafeTensor&size=pruned&fp=fp16) 
# `models/AnimateDiff/mm_sd_v15_v2.ckpt`: [link](https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt) 
# `models/ControlNet/control_v11p_sd15_lineart.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth) 
# `models/ControlNet/control_v11f1e_sd15_tile.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth) 
# `models/Annotators/sk_model.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth) 
# `models/Annotators/sk_model2.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth) 
# `models/textual_inversion/verybadimagenegative_v1.3.pt`: [link](https://civitai.com/api/download/models/25820?type=Model&format=PickleTensor&size=full&fp=fp16) 
# `models/RIFE/flownet.pkl`: [link](https://drive.google.com/file/d/1APIzVeI-4ZZCEuIRE1m6WYfSCaOsi_7_/view?usp=sharing)

运行examples目录下的sd_toon_shading.py

python sd_toon_shading.py

结果展示

原视频

写实的跳舞视频，在网盘里，不方便展示。

风格化后的视频

 

代码及模型地址

链接:http:// https://pan.baidu.com/s/1K4poXHiOCrzfUArMjbLkFA

提取码: e2r4

参考链接：

bilibili介绍网址

github项目地址