PaddleGAN唇形合成升级--让蒙娜丽莎的微笑更清晰

请点击此处查看本环境基本用法.

Please click here for more detailed instructions.

PaddleGAN精准唇形合成高清升级：柳夜熙开口说话的秘密

虚拟偶像/数字人说话的秘密

最近大火的虚拟美妆博主柳夜熙、、各大虚拟偶像以及上周百度发布的央视总台首个AI手语主播等等数字人的核心技术中，让数字人开口说话的也是这个AI算法！!

同时激起百万网友热议，到底是什么技术这么牛气？

答案就是：Wav2Lip！

PaddleGAN的唇形迁移能力–Wav2lip

铛铛铛！！飞桨PaddleGAN这就来给大家揭秘，手把手教大家如何实现唇型的迁移，学习过本项目的你们，从此不仅能让柳夜熙开口说话，还能让蒙娜丽莎播新闻、新闻主播唱Rap… 只有你想不到的，没有PaddleGAN做不到的！

PaddleGAN针对Wav2Lip模型进行了高清优化，使唇形拟合更加细腻，更加逼真！

本教程是基于PaddleGAN实现的视频唇形同步模型Wav2lip, 它实现了人物口型与输入语音同步，俗称「对口型」。 比如这样：

不仅仅让静态图像会「说话」，Wav2lip还可以直接将动态的视频，进行唇形转换，输出与目标语音相匹配的视频，自制视频配音不是梦！

本次教程包含四个部分：

• Wav2lip原理讲解
• 下载PaddleGAN代码
• 唇形动作合成命令使用说明
• 成果展示

若是大家喜欢这个教程，欢迎到Github PaddleGAN主页点击star呀！下面就让我们一起动手实现吧！

Wav2lip模型原理

Wav2lip实现唇形与语音精准同步突破的关键在于，它采用了唇形同步判别器，以强制生成器持续产生准确而逼真的唇部运动。

此外，该研究通过在鉴别器中，使用多个连续帧而不是单个帧，并使用视觉质量损失（而不仅仅是对比损失）来考虑时间相关性，从而改善了视觉质量。

该wav2lip模型几乎是万能的，适用于任何人脸、任何语音、任何语言，对任意视频都能达到很高的准确率，可以无缝地与原始视频融合，还可以用于转换动画人脸，并且导入合成语音也是可行的

Step 1：下载PaddleGAN代码

%cd /home/aistudio
# 下载PaddlePaddle安装包
# 从github上克隆PaddleGAN代码（如下载速度过慢，可用gitee源）
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
#!git clone https://github.com/PaddlePaddle/PaddleGAN

#本地安装PaddleGAN
%cd /home/aistudio/PaddleGAN
!pip install -v -e .

Step 2：唇形动作合成命令使用说明

重点来啦！！本项目支持大家上传自己准备的视频和音频， 合成任意想要的逼真的配音视频！！

只需在如下命令中的face参数和audio参数分别换成自己的视频和音频路径，然后运行如下命令，就可以生成和音频同步的视频。

程序运行完成后，会在当前文件夹下生成文件名为outfile参数指定的视频文件，该文件即为和音频同步的视频文件。本项目中提供了demo展示所用到的视频和音频文件。具体的参数使用说明如下：

• face: 原始视频，视频中的人物的唇形将根据音频进行唇形合成–通俗来说，想让谁说话
• audio：驱动唇形合成的音频，视频中的人物将根据此音频进行唇形合成–通俗来说，想让这个人说什么

%cd applications/
!python tools/wav2lip.py \
    --face /home/aistudio/1.jpeg \
    --audio /home/aistudio/2.m4a \
    --outfile /home/aistudio/pp_put.mp4 \
    --face_enhancement

总结

首先帮大家总结一波：让图片会说话、视频花式配音的魔法–Wav2lip的使用只用三步：

1. 安装Paddle环境并下载PaddleGAN
2. 选择想要「配音/对口型」的对象以及音频内容
3. 运行代码并保存制作完成的对口型视频分享惊艳众人

贴心的送上项目传送门：PaddleGAN 记得点Star关注噢~~

PaddleGAN中还有很多其他的能力，大家可以敬请体验~

• 「人脸融合」

人物1	人物2	融合后效果

• 百年影像上色、插帧、提高分辨率

• 照片动漫化

• 人脸动漫化

⭐ ⭐ ⭐ 欢迎Star支持！⭐ ⭐ ⭐