可以提高DeepFaceLab（DeepFake）合成最终视频速度的方法

若苗瞬

已于 2023-06-06 10:00:39 修改

阅读量5.1k

点赞数

分类专栏： Windows Python 人工智能/机器学习文章标签：音视频 python deepfacelab ffmpeg 换脸

于 2022-11-14 11:13:03 首次发布

本文链接：https://blog.csdn.net/ddrfan/article/details/127841059

版权

Windows 同时被 3 个专栏收录

99 篇文章 19 订阅

订阅专栏

Python

67 篇文章 8 订阅

订阅专栏

人工智能/机器学习

61 篇文章 35 订阅

订阅专栏

（一）合成最终视频

合成所有帧图片后，可以选择：

8) merged to avi.bat
8) merged to mov lossless.bat
8) merged to mp4 lossless.bat
8) merged to mp4.bat

我通常都用的是8) merged to mp4.bat，
输入目标码率，将合成后的图片帧加原始视频的音频，合成最终的视频。

如果视频需要进一步处理，则可以在这里输入非常大的码率。
至于不用lossless是因为试过但结果视频有些问题。

（二）合成视频加速

相对整个学习过程，以及对比合成目标图片帧的速度，合成视频这步并不算慢。但蚊子肉也是肉，依然可以加速⭕️。

（2.1）取消遮罩视频合成

合成最终视频时，其实还合成了一个遮罩视频。
如果用不到，可以注释掉这部分内容，或者存入一个新的批处理（需要时再执行）。

也就是将8) merged to mp4.bat下半部分语句前面加上@REM注释掉，如下：

@echo off
call _internal\setenv.bat

"%PYTHON_EXECUTABLE%" "%DFL_ROOT%\main.py" videoed video-from-sequence ^
    --input-dir "%WORKSPACE%\data_dst\merged" ^
    --output-file "%WORKSPACE%\result.mp4" ^
    --reference-file "%WORKSPACE%\data_dst.*" ^
    --include-audio

@REM "%PYTHON_EXECUTABLE%" "%DFL_ROOT%\main.py" videoed video-from-sequence ^
@REM     --input-dir "%WORKSPACE%\data_dst\merged_mask" ^
@REM     --output-file "%WORKSPACE%\result_mask.mp4" ^
@REM     --reference-file "%WORKSPACE%\data_dst.*" ^

pause

（2.2）视频编码用硬件加速

对于合成MP4视频这一步，DeepFaceLab使用的是🔗ffmpeg ¹ 的命令行（当然）。

目前最新的🔗DFL版本：DeepFaceLab_NVIDIA_RTX3000_series_build_11_20_2021.exe（此处例子是RTX3000以上版本），
用的是🔗https://www.gyan.dev/构建的Windows版本ffmpeg（release 构建 v5.0）。
我更新成了最新的 git master ² 构建。但瞟了眼编译参数，似乎不更新也行。

可能作者考虑到并不是所有人都在用N卡吧，使用的视频编码方式是软编码。
因此我们可以改为硬件加速的编码方式，节约时间。

（2.2.1）NVIDIA显卡

找到并编辑【%DFL所在目录%\_internal\DeepFaceLab\mainscripts\VideoEd.py】，
参考下图中高亮的部分，把libx264改为hevc_nvenc或h264_nvenc。
至于lossless那边也顺手改了，我不明白cq=0是指【最高画质】还是【自动】，所以实测后改为cq=1了。

改为硬件加速

（2.2.2）Intel核显

确定有人用Intel核显玩DFL么……
管它的，理论也可以对比一下。

同理如上图，把libx264改为h264_qsv。
PS：这里如果改为h265编码（hevc）的qsv，在我的笔记本上比较慢。而我的台式机没有Intel核显，测不了。
PS2：我也不清楚最新的Intel独显Arc系列会有怎样的效果。

（三）速度对比

可以看出3060显卡硬件加速效果明显（7-8倍）。
厉害的是N卡的硬件加速，对于编码为h264 / h265的效率差异不会太大。
而Intel方面Arc独显没有条件测试，核显有一定的加速效果，但h265依然慢太多。

方式	硬件型号	编码器参数	每秒帧数(FPS)
CPU 软编码（默认）	i7-10870	libx264	241
CPU 软编码	i7-10870	libx265	37
Intel 核显加速	i7-10870	h264_qsv	540
Intel 核显加速	i7-10870	hevc_qsv	185
NVidia 显卡加速	移动 RTX-3060	h264_nvenc	1828
NVidia 显卡加速	移动 RTX-3060	hevc_nvenc	1677

因为我没有A卡，没法测试也不清楚A卡情况。
与此同时，除非谁能送我一块4090显卡😄，否则目前软编码av1看起来也不是很快的样子，导致此处缺少实用性。

CPU软编码（i7-10870）：libsvtav1：fps=121

~ this is the end ~

来自百科：FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。 ↩︎
网站写道：强烈建议选择 git master 构建;与许多软件不同，release构建主要是为了方便操作系统分销商和包管理器，并不表示更大的稳定性或成熟度。 ↩︎