视频和音频合成视频Easy_Wav2Lip

Easy_Wav2Lip  是使用视频和音频合成新的视频
Easy-WAV2lip是目前最成熟的数字人口型算法。

用时以及效率来说，三大主流算法 WAV2lip、Geneface++、AD-Nerf。WAV2lip＞Geneface++＝AD-Nerf

1. 整体流程
第一步，加载视频/图片和音频/tts。用melspectrogram将wav文件拆分成mel_chunks。
第二步，调用face_detect模型，给出人脸检测结果（可以改造成从文件中读取），包装成4个数组batch：img_batch(人脸)，mel_batch(语音)，frame_batch(原图)，coords_batch(坐标)
第三步，加载模型，进行计算。这个模型目前看下来就是简单的resnet，没有transfomer。另外mask也不是用分割模型，而是直接将图片下半部分全部作为mask😄，然后将mask图片拼接到原图片的色彩通道上作为输入。
第四步：预测出来的人脸拼接到原图上，输出位视频。

2. 优缺点
优点：极其简单，一个人脸检测模型+一个基于CNN的lipsync模型，速度很快。
缺点：嘴唇经常是歪的，而且有变形；牙齿不断在闪烁。

比sadtalker丝滑多了


软件包运行：go-web.bat    双击就可以了
 

运行成功，用浏览器打开：http://127.0.0.1:7860/
 

运行成功。
可以上传一段视频和音频试试
 

生成中

一分钟视频合成花了50分钟
看看效果

813

最后，推荐一个默认效果比较好的参数，大家也可以根据自己的素材自行调节：

视频质量选项：Enhanced
分辨率选项：full resolution
Wav2Lip版本选项：Wav2Lip
启动追踪旧数据：True
启用脸部平滑：True
嘴部上边缘：0
嘴部下边缘：10
嘴部左边缘：0
嘴部右边缘：0
Mask尺寸：1
Mask羽化：1
启用嘴部追踪：True
启用调试：False

参考视频：如何用自己的形象生成AI数字人，代替自己出镜创作短视频和直播？零成本干货教学！_哔哩哔哩_bilibili
资源包有：
ChatTTS增强版一件整合包
AI数字人生成工具
EchoMimic照片转视频等
还有各种常见的AI常用提示词，比如网文写作

总的链接放下面了
⚙️AI吧教学日记 · AI工具和教程分享⚙️ · 语雀
有需要的小伙伴可自行领取

================================
构建中国人自己的私人GPT
构建中国人自己的私人GPT - 神经网络 - 金双石科技 -
(出处: 金双石科技)

AI绘图软件stable-diffusion 3
AI绘图软件stable-diffusion 3 - 神经网络 - 金双石科技 -
(出处: 金双石科技)

AI绘图软件fooocus
AI绘图软件fooocus - 神经网络 - 金双石科技 -
(出处: 金双石科技)

文字生成语音1
文字生成语音1 - 神经网络 - 金双石科技 -
(出处: 金双石科技)

图片和音频合成数字人SadTalker
图片和音频合成数字人SadTalker - 神经网络 - 金双石科技 -
(出处: 金双石科技)

视频和音频合成视频Easy_Wav2Lip
视频和音频合成视频Easy_Wav2Lip - 神经网络 - 金双石科技 -
(出处: 金双石科技)

3D模型和音频合成数字人
3D模型和音频合成数字人 - 神经网络 - 金双石科技 -
(出处: 金双石科技)

实时智能应答3D数字人
实时智能应答3D数字人 - 神经网络 - 金双石科技 -
(出处: 金双石科技)

AI模型生成数字人DeepFaceLive
AI模型生成数字人DeepFaceLive - 神经网络 - 金双石科技 -
(出处: 金双石科技)