基于Wav2Lip+GFPGAN的高清版AI主播

已于 2023-06-16 10:17:34 修改
阅读量1.1w 收藏 48
点赞数 8
分类专栏： Python AI数字人 文章标签： 人工智能 python 深度学习 数字人
于 2023-02-27 09:18:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/129217664
版权

继上一篇 基于Wav2Lip的AI主播 的内容之后很多小伙伴反应一个问题就是生成的AI人物并不是很清晰，尤其是放到编辑器里会出现明显的痕迹，因此这次带来的了 Wav2Lip+GFPGAN 高清版的内容，如果不太了解这个项目实做什么的可以来先看一下效果。该项目暂时没有中文介绍，我这个应该是首发。

这个项目是基于基于Wav2Lip的AI主播 项目的环境延伸，如果没有该环境的请先去该文章进行配置。

基于Wav2Lip自制高清版，用自己形象做数字人清楚多了

虽然说是自制但是也基于git大佬的源代码按照自己的需求进行的修改，整体的原理就是基于视频的每一帧进行高清处理，然后进行合并拼接成视频，最后拼接音频形成完整的视频。

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mr数据杨
关注
  • 8
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 14
    评论
专栏目录
订阅专栏
wav2lip高清虚拟数字人生成代码
06-21
wav2lip高清虚拟数字人生成代码
超写实虚拟数字人再升级：Wav2Lip-GFPGAN完整版教程及效果视频评测【手把手】
baoxueyuan的博客
06-11 5481
在前面的一篇数字人文章中，我们介绍了AI主播虚拟人技术中的一项重要技术——Wav2Lip，并附上了完整版教程和效果评测，具体可见AI数字人虚拟主播技术实现Wav2Lip及效果演示评测【附完整版教程】。然而，我们也发现了一个问题，生成的视频中面部的画质相对模糊，缺乏细节清晰度。这次，我们基于之前的文章为基础，做了进一步的优化，引入了一种名为GFP-GAN的图像超分辨率算法，成功改善了这一问题,大大提升了画质。 https://yv2c3kamh3y.feishu.cn/docx/I8OLdvQSuoSRHXx
Wav2Lip-HD预训练模型第二个包，包含GFPGAN模型等，用于数字人语音驱动面部及图像超分辨率生成
06-20
Wav2Lip-HD预训练模型第二个包，包含GFPGAN模型等，用于数字人语音驱动面部及图像超分辨率生成
Wav2Lip-GFPGAN
weixin_56587572的博客
08-11 3400
创建一个文件夹wav2lip_GFPgan，打开cmd，使用命令。，创建一个文件夹outputs做为输出目录，执行命令。拉取项目到本地，使用命令。创建虚拟环境，使用命令。
Python - Wave2lip 环境配置与 Wave2lip x GFP-GAN 实战 [超详细!]
BITDDD小栈
11-21 2448
Wave2lip 环境搭建与 Wave2lip x GFP-GAN 实战案例。
Wav2Lip:该存储库包含“ Alip Sync专家是您在野外生成嘴唇时所需的全部语音”代码，在ACM Multimedia 2020上发布
03-17
Wav2Lip ：在野外准确地对嘴唇进行同步的视频 这段代码是本文的一部分：在ACM Multimedia 2020上发布的嘴唇同步专家是您向野外嘴唇生成演说所需要的一切。 :bookmark_tabs: 原始纸 :newspaper: 项目页面 :cyclone: 演示版 :high_voltage: 现场测试 :notebook_with_decorative_cover: Colab笔记本 :brain: 重新同步 强调 将视频以口形同步到任何目标语音，且准确性很高 :hundred_points: 。 试试我们的。 :sparkles: 适用于任何身份，语音和语言。 也适用于CGI人脸和合成声音。 提供完整的训练代码，推理代码和预训练模型 :collision: 或者，快速开始使用Google Colab Notebook： 。 检查点和示例也可以在Google云端硬盘中找到。 与此相关的还有一个，由。 另外，感谢 ，还有一个更易用的具有更多有用的功能。 :fire: :fire: 发布了几个新的，可靠的评估基准和度量标准 。 还提供了计算本文中报告的指标
基于Wav2Lip的AI主播
热门推荐
Mr数据杨
11-30 1万+
现在市面上的各种AI主播产品，基本都是基于现有的人物造型，其中包括3D动漫，真人，二次元等等，然后通过对口型的方式进行的，但是这个会有一个问题，对于这种AI主播有个名词叫虚拟数字人，虽然虚拟数字人没有肖像权的问题，但是存在软件著作权的问题，现在都是购买会员免费试用，但是也容易出现很多问题，不如用自己的形象做一个AI数字人模型更加稳妥。通过模型可以实现图片和视频自动对口型制作自己的AI主播，这个是我之前发布到朋友圈的一个样例。
基于Wav2Lip+GFPGAN的AI数字人视频（以AutoDL算力云平台部署为例）
Little_Carter的博客
06-22 3706
我们的主题是如何在AutoDL云算力平台上部署并使用Wav2Lip和GFPGAN两个人工智能模型来创建AI数字人视频。我们的目标是利用Wav2Lip模型将输入的音频与数字人的口型进行同步，然后使用GFPGAN模型对生成的数字人的面部图像进行高质量的重建，从而创造出逼真的AI数字人视频。
用Wav2Lip+GFPGAN创建高质量的唇型合成视频
zjj1898的博客
03-31 2185
这是一个简单的参考实现，并不能保证所有情况下都适用，但是可以帮助您了解如何使用Wav2Lip+GFPGAN来生成唇形合成视频。在这里，我可以提供一个简单的代码示例，演示如何使用Wav2Lip+GFPGAN来创建高质量的唇形合成视频。
基于 Wav2Lip-GFPGAN 深度学习模型的数字人Demo
山河已无恙
06-10 3636
工作中遇到简单整理博文为环境搭建运行的 Demo理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》是一种基于生成对抗网络（GAN）的语音到唇形的转换模型。基本原理是使用语音信号和人脸图像来训练一个生成器网络，该网络可以将输入的语音信号转换为对应的唇形。一个是语音识别网络，用于将语音信号转换为文本；
lip2wav-dataset
03-10
非官方的Lip2Wav数据集预处理脚本 数据集是大规模的语音合成语音数据集。 该脚本允许下载和预处理数据集的各个部分，并且运行速度更快。 例如，要仅运行dl测试，只需为以下所有步骤指定--splits test --speakers dl 。 要求 该脚本需要ffmpeg ，并已在Ubuntu 20.04.1 LTS上进行了测试。 安装 pip install git+https://github.com/enhuiz/lip2wav-dataset.git 脚步 1.从YouTube下载原始视频 在一个空文件夹下，运行以下命令： lip2wav-dataset download --splits test --speakers dl 此步骤将自动下载指定的扬声器并进行分割（即，训练/验证/测试）。 如果未指定，则将下载所有扬声器/分离器。 2.将原始视频切成间隔 lip2wav-dat
唇形同步模型文件 wav2lip_gan.pth
04-09
本文件是 开源项目 https://github.com/Rudrabha/Wav2Lip 唇形同步的例子 所需的 模型文件。 作者放在 google 网盘里， 国内下载很不方便。 于是我提供了一份在这儿。
Lip2Wav:这是包含我们2020年CVPR论文代码的存储库，标题为“学习准确的口语到语音合成的个别说话风格”
03-20
更新：如果您正在寻找Wav2Lip， Lip2Wav 仅通过唇部动作即可产生高质量的语音。该代码是论文的一部分：在CVPR'20上发表的论文，学习个人说话风格以实现准确的语音合成。 | | 最近更新 发布了适用于所有扬声器的数据集和预训练模型！ 已发布在LRW数据集上训练的多扬声器单词级Lip2Wav模型的预训练模型！ （分支） 强调 在不受限制的情况下，仅通过嘴唇运动即可产生可理解的语音的第一项工作。 问题的序列到序列建模。 提供5个扬声器的数据集，其中包含100多个小时的视频数据！ 提供了完整的培训代码和预训练的模型。 推理代码从预训练的模型生成结果。 还提供了用于计算论文中报告的指标的代码。 你也可能对此有兴趣： :party_popper:使用Wav2Lip进行口语同步的语音视频到任何语音： : 先决条件 Python 3.7.4 （此版本已通过代码测试） ffmpeg： sudo apt
数字人说话工具Wav2Lip离线版V1.0
10-15
数字人说话工具Wav2Lip离线版V1.0 1、AI换脸软件V3.0离线版Windows版本 https://download.csdn.net/download/qq_24252589/88427155 2、Mac版本AI换脸软件离线版 https://download.csdn.net/download/qq_24252589/88427172 3、DeepfaceLive 直播换脸+模型 https://download.csdn.net/download/qq_24252589/88427307 4、Window版本AI人脸替换工具V2.0 https://download.csdn.net/download/qq_24252589/88247062 5、AI全自动剪辑软件V10.1版本 https://download.csdn.net/download/qq_24252589/88430500 6、DragGAN图片说话工具 https://download.csdn.net/download/qq_24252589/88430541
GFPGANCleanv1-NoCE-C2.pth
03-16
GFPGANCleanv1-NoCE-C2.pth
Wav2lip 语音驱动Ai数字人源码与模型
最新发布
03-16
为了解决以上问题，wav2lip提出了一个专家口型同步判别器，该判别器在真实视频中进行预训练，并包含多帧信息，可用于判断音频和口型是否同步。实验证明，相比于基于像素的人脸重建方法，这个专家判别器在口型同步...
wav2lip模型训练【附完整教程&实时过程录制】wav2lip训练数据集|高清模型|wav2lip生成的数字人不清晰怎么办
baoxueyuan的博客
08-11 3813
本期内容主要是分享如何构建wav2lip的训练数据以及跑通wav2lip的训练，这也是目前很多饱子最困惑的地方，关于最终的训练成效，就需要各位大神各自发挥自己的炼丹超能力。
wav2lip算法生成的数字人嘴部不够理想怎们办 -----新方法助力你优化解决这个问题
xuxu96
07-25 2260
使用wav2lip生成的数字人嘴部不清晰怎么办
AI虚拟主播数字人技术实现Wav2Lip【附完整版教程】及【效果评测】
白云兔
05-31 1879
AI主播数字人技术实现Wav2Lip【附完整版教程】及【效果评测】。 项目地址：https://github.com/baoxueyuan/DeepFake 关注公众号【饱学猿】，回复数字【5301】即可下载所有代码、教程！
Wav2Lip+GFPGAN
07-27
Wav2Lip+GFPGAN是一个项目，它结合了Wav2Lip和GFPGAN两个模型，以实现高清的AI人物生成效果。\[1\]Wav2Lip模型负责将人物的口型与语音匹配，并生成相应的视频。而GFPGAN模型则负责对视频的每一帧进行高清修复，最终将修复后的图片合成为高清视频。\[3\]为了保证项目的效果，可以使用不同的服务器来构建虚拟环境，确保两个模型的运行互不影响。\[2\]在实际操作中，可以选择使用付费服务器，价格根据小时计算，相对比较划算。\[2\]这个项目暂时没有中文介绍，但我提供的信息应该是首发的。 #### 引用[.reference_title] - *1* [基于Wav2Lip+GFPGAN的高清版AI主播](https://blog.csdn.net/qq_20288327/article/details/129217664)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [超写实虚拟数字人再升级：Wav2Lip-GFPGAN完整版教程及效果视频评测【手把手】](https://blog.csdn.net/baoxueyuan/article/details/131151766)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值