Rerender A Video 复现

        第一次做大模型相关的复现，做个笔记记录一下。

1. 相关链接

[1] Rerender_A_Video源码

[2] Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation

[3] deps/ControlNet

[4] deps/ebsynth

[5] deps/gmflow

2. 模型与相关文件下载

[1] 模型文件：control_sd15_canny.pth （运行install.py可下载）

[2] 模型文件：control_sd15_hed.pth （运行install.py可下载）

[3] 模型文件：gmflow_sintel-0c07dcb3.pth（运行install.py可下载）

[4] 模型文件：vae-ft-mse-840000-ema-pruned.ckpt （运行install.py可下载）

[5] ebsynth 由1.[4]根据自己系统运行得到，也可以直接下载

[6] revAnimated_v11.safetensors （webUI.py使用，非必要）

[7] realisticVisionV20_v20.safetensors （webUI.py使用，非必要）

3. 环境配置

        该项目建议显存24GB。

表3.1 部分软硬件参数

OS	ubuntu-22.04	python	3.8
GPU	NVIDIA A100 40GB	pytorch	1.13
CUDA	11.6	torchvision	0.13.0+cu116

        由于需要离线配置，部分依赖包安装较为麻烦；且服务器设置为每次运行会初始化环境，所以写成安装脚本。PKG_DIR为安装包存储路径，最后三个包无.whl文件需要自己运行。

4. 部分报错及解决

[1] ModuleNotFoundError: No module named ‘_distutils_hack'

[2] No such file or directory: '....../out_1/0002.bin'

        官方解答。主要原因有两个：1.文件路径存在“-”，非字母、数字、下划线符号。

                                                       2.缺少文件2.[5]，无法执行ebsynth命令（需chmod 777）。

5. 项目列表

主要用到rerender.py和video_blend.py两个文件。

6.运行rerender.py

简单运行只需指定输入视频路径--input，输出视频保存路径--output，和提示词--prompt。    

 

运行该文件主要进行了操作：

1. 将视频按帧拆分图片，保存在video文件夹下

2.获取边缘轮廓，保存在first文件夹下

3.按间隔生成关键帧图片，保存在keys文件夹下

7.运行video_blend.py

根据关键帧的风格，对原视频每帧进行渲染，然后合成视频。

主要指定rerender.py生成视频的文件目录，输出视频的保存路径--output。--fps是保存帧率，--n_proc是多进程运行的进程数。

主要进行了以下操作：

1.对每帧进行渲染，保存到blend文件夹下

2.合成视频，保存到指定目录下

8.运行脚本和提示词

9.缺陷和不足

待补充

10.源码阅读

待补充

11.总结

待补充