Easy-wav2lip-一键批量数字人制作软件(一键包+教程)

Easy-wav2lip是基于wav2lip优化改进而来,新增了WebUI界面,操作更简便,同时提升了生成效率,大大减少了生成的时间。

准备

需要准备音频和视频文件。

音频文件:

  • 建议音频长度与视频的长度相同(比如你是10秒钟的视频,那么你的音频长度建议是10秒。如果音频长度比视频长度长,视频会自动向后循环延长)。音频文件格式:wav 和mp3

视频文件:

  • 你选择的视频帧中必须都有一张脸,否则将报错。(比如你视频总时长10秒,中间有2秒没有人脸的画面,就会报错)推荐H264编码的mp4视频格式

提示:该版本支持批量。批量支持多段视频多段音频、多段视频单段音频。

举个例子:

  • 你有3个视频,3段音频,那么会按照你选择的顺序视频1对应音频1、视频2对应音频2进行处理。你有3个视频,1段音频,那么会按照你上传的所有视频都对应这个音频进行处理。视频1对应音频1、视频2对应音频1、视频3对应音频3。

下载一键包后,解压出来,解压目录不要有中文

一键包下载地址:

点此下载Easy-wav2lip一键包icon-default.png?t=N7T8https://deepface.cc/thread-139-1-1.html

解压后,点击目录下的 一键启动

read-normal-img

等待黑色窗口出现“Running on local URL: http://127.0.0.1:7860”的时候,复制http开头的地址

然后到浏览器粘贴打开即可。如上图。

启动后的界面如下图

read-normal-img

最上方选择源素材(图片或者视频都可以),就是你要驱动的数字人素材,右边选择音频(驱动数字人说话的音频文件),如下图

read-normal-img

新手可以先默认参数,直接执行下方的“一键生成”。

等待程序自动执行完成,找到软件目录下的out目录,里面就是生成的数字人视频。

下面说下自定义参数:

视频质量:

Fast快速:Wav2Lip音频转口型模式。

Improved改进:Wav2Lip音频转口型模式 +唇部周围带有遮罩羽化,去除唇部周围边框。

Enhanced增强:Wav2Lip音频转口型模式 + 遮罩羽化 + GFPGAN高清脸部增强

Experimental实验性:在增强的模式上优化执行效率。

如果不是机器配置太差默认推荐选 Enhanced 和 Experimental

分辨率选项

full resolution全分辨率

half resolution半分辨率

注意:

测试下来半分辨率会在某些情况下存在不兼容问题,建议这个选项选全分辨率

Wav2Lip版本选项

Wav2Lip

优点:更准确的口型同步、在没有声音时会保持嘴巴闭合。

缺点:有时会产生牙齿缺失(部分情况下)。

Wav2Lip_GAN

优点:效果看起来更好,保留说话者原有表情。

缺点:不太擅长遮盖原始的嘴唇动作,尤其是在没有声音的情况下。

建议:

先尝试 Wav2Lip,如果遇到口齿上有很大缝隙的效果,再切换到Wav2Lip_GAN版本。

启用脸部平滑

启用后,wav2lip 将独立裁剪每个帧上的脸部。

适用于视频中的快速移动或剪辑。

如果脸部角度奇怪,可能会导致抽搐。

禁用后,wav2lip 会在 5 帧之间混合检测到的人脸位置。

适合缓慢移动,尤其是对于不常用角度的脸部。

当脸部在画面中快速移动时,嘴巴可能会偏移,在切割之间看起来很可怕。

Padding (填充):

此选项控制在每个方向上从面部裁剪中添加或删除的像素数。

此选项可以帮助去除下巴或脸部其他边缘的硬线条,但填充过多或过少都会改变嘴巴的大小或位置。通常的做法是在底部添加 10 个像素,建议尝试不同的值,找到最佳效果。

Mask遮罩部分

read-normal-img

Mask尺寸

将增加蒙版覆盖的区域的大小。(脸部周围有边框可以减少此数值,例如:1.5)

Mask羽化

决定了蒙版中心和边缘之间的混合量。(脸部周围有边框也可以增加此数值 )

启用Mask嘴部跟踪

会将遮罩的位置更新到嘴巴在每一帧上的位置(速度较慢)

注意:

由于帧被裁剪到脸上,嘴巴位置已经很近似了,只有当发现视频的遮罩似乎没有跟随嘴巴时,才启用此功能。

启用Mask调试

开启后将使背景灰度和蒙版变彩色,可以看到蒙版在框架中的位置。(此参数改成True后,可以更直观的看到参数效果)

原项目地址:https://github.com/anothermartz/Easy-Wav2Lip

  • 14
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值