Wav2Lip 训练附加中文数据集

已于 2024-02-27 15:11:00 修改
阅读量1.9k 收藏 20
点赞数 5
文章标签： python
于 2024-02-04 14:07:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XieH123/article/details/136024830
版权

Wav2lip 训练操作

1、准备数据集（如果没有可以通过这个链接下载中文数据集 https://pan.baidu.com/s/1bXj_LZy1wTInQE9ceJl7UA 提取码 1122）

2、将视频放置 F:\Wav2Lip\filelists\main

3、执行 : python preprocess.py --ngpu 1 --batch_size 1 --data_root F:\Wav2Lip\filelists\main --preprocessed_root F:\Wav2Lip\raw_dataprocessed

4、将执行后生成的图片和音频以这种格式存放一起按照这个格式来

5、train文件格式 F:\Wav2Lip\Wav2Lip\raw_dataprocessed\main\demo1.mp4\demo1

6、执行 python wav2lip_train.py --data_root F:\Wav2Lip\raw_dataprocessed\main --checkpoint_dir ./savedmodel --syncnet_checkpoint_path ./checkpoints/lipsync_expert.pth --checkpoint_path ./checkpoints/wav2lip.pth

7、请添加图片描述

XieHui___
关注
  • 5
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
wav2lip模型训练【附完整教程&实时过程录制】wav2lip训练数据集|高清模型|wav2lip生成的数字人不清晰怎么办
baoxueyuan的博客
08-11 4400
本期内容主要是分享如何构建wav2lip的训练数据以及跑通wav2lip的训练，这也是目前很多饱子最困惑的地方，关于最终的训练成效，就需要各位大神各自发挥自己的炼丹超能力。
Wav2Lip原理以及训练
2401_82680920的博客
02-05 1895
sync_loss = get_sync_loss(mel, g)，mel：原音频，g：wav2lip模型生成的人脸图，送到syncnet模型中，输出对应特征向量，然后计算两者之间的cosine_similarity。同时，还可以调整模型的超参数，如学习率、批量大小等，以获得更好的性能。在训练过程中，可以采用不同的优化器和损失函数。在一段短视频中，抽取随机参考帧，然后，基于这帧随机参考帧，向后步长为5，获取连续5帧视频图片，作为图像输入，基于这帧随机参考帧，向后步长16，获取视频图片对应的mel图谱。
lip2wav-dataset
03-10
非官方的Lip2Wav数据集预处理脚本 数据集是大规模的语音合成语音数据集。 该脚本允许下载和预处理数据集的各个部分，并且运行速度更快。 例如，要仅运行dl测试，只需为以下所有步骤指定--splits test --speakers dl 。 要求 该脚本需要ffmpeg ，并已在Ubuntu 20.04.1 LTS上进行了测试。 安装 pip install git+https://github.com/enhuiz/lip2wav-dataset.git 脚步 1.从YouTube下载原始视频 在一个空文件夹下，运行以下命令： lip2wav-dataset download --splits test --speakers dl 此步骤将自动下载指定的扬声器并进行分割（即，训练/验证/测试）。 如果未指定，则将下载所有扬声器/分离器。 2.将原始视频切成间隔 lip2wav-dat
探索AI魔法：`wav2lip_288x288` - 创新的音频驱动唇动合成工具
最新发布
gitblog_00051的博客
04-19 536
探索AI魔法：wav2lip_288x288 - 创新的音频驱动唇动合成工具 项目地址:https://gitcode.com/primepake/wav2lip_288x288 该项目，wav2lip_288x288，是一个基于深度学习的开源工具，能够将音频转化为逼真的唇部同步视频。这个强大的技术解决方案为内容创作者、教育者和娱乐行业提供了无限的可能性，使得生成精确的语音与唇动匹配的视频变得简单...
wave2lip训练
热门推荐
sslfk的博客
03-11 1万+
论文：https://arxiv.org/pdf/2008.10010.pdf 训练源码：https://github.com/Rudrabha/Wav2Lip 训练配置：首先必须依赖GPU 下载源码，下载专家判别系统：Sign in to your account 并将模型放到checkpoints文件目录下 第一步：准备视频数据，爬取可以通过硕鼠爬取想要的人物说话风格数据 第二步：执行preprocess.py，执行命令如下： python preprocess.py --ngpu 1.
wav2lip中文语音驱动人脸训练
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-12 4831
2020年，来自印度海德拉巴大学和英国巴斯大学的团队，在ACM MM2020发表了的一篇论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild 》，在文章中，他们提出一个叫做Wav2Lip的AI模型，只需要一段人物视频和一段目标语音，就能够让音频和视频合二为一，人物嘴型与音频完全匹配。
Lip2Wav:这是包含我们2020年CVPR论文代码的存储库，标题为“学习准确的口语到语音合成的个别说话风格”
03-20
更新：如果您正在寻找Wav2Lip， Lip2Wav 仅通过唇部动作即可产生高质量的语音。该代码是论文的一部分：在CVPR'20上发表的论文，学习个人说话风格以实现准确的语音合成。 | | 最近更新 发布了适用于所有扬声器的数据集和预训练模型！ 已发布在LRW数据集上训练的多扬声器单词级Lip2Wav模型的预训练模型！ （分支） 强调 在不受限制的情况下，仅通过嘴唇运动即可产生可理解的语音的第一项工作。 问题的序列到序列建模。 提供5个扬声器的数据集，其中包含100多个小时的视频数据！ 提供了完整的培训代码和预训练的模型。 推理代码从预训练的模型生成结果。 还提供了用于计算论文中报告的指标的代码。 你也可能对此有兴趣： :party_popper:使用Wav2Lip进行口语同步的语音视频到任何语音： : 先决条件 Python 3.7.4 （此版本已通过代码测试） ffmpeg： sudo apt
wav2lip
王东辉的博客
07-27 1691
这项工作主要研究了用任意身份的语音或者视频来驱动另外一个语音视频。目前的工作擅长在特定的人的静态图片或视频产生准确的唇部动作。然而在动态的面部视频中，它们不能准确地变形任意身份的嘴唇动作，从而导致视频中重要的部分与新的音频不同步。本文确定了与此问题相关的关键原因，并在这里使用一个强大的唇口同步鉴别器学习来解决它们。接下来，提出了新的、严格的评估基准和度量标准来准确地度量无约束视频中的唇同步。
最新能让老外对口型讲中文的AI 视频教程，免费开源AI工具——Wav2Lip
CCEEHM的博客
01-03 1891
当然！如果像要对视频人物进行“换脸”，那就还得进行安装和下载“FaceSwap”的模型以及环境。
Wav2Lip:该存储库包含“ Alip Sync专家是您在野外生成嘴唇时所需的全部语音”代码，在ACM Multimedia 2020上发布
03-17
Wav2Lip ：在野外准确地对嘴唇进行同步的视频 这段代码是本文的一部分：在ACM Multimedia 2020上发布的嘴唇同步专家是您向野外嘴唇生成演说所需要的一切。 :bookmark_tabs: 原始纸 :newspaper: 项目页面 :cyclone: 演示版 :high_voltage: 现场测试 :notebook_with_decorative_cover: Colab笔记本 :brain: 重新同步 强调 将视频以口形同步到任何目标语音，且准确性很高 :hundred_points: 。 试试我们的。 :sparkles: 适用于任何身份，语音和语言。 也适用于CGI人脸和合成声音。 提供完整的训练代码，推理代码和预训练模型 :collision: 或者，快速开始使用Google Colab Notebook： 。 检查点和示例也可以在Google云端硬盘中找到。 与此相关的还有一个，由。 另外，感谢 ，还有一个更易用的具有更多有用的功能。 :fire: :fire: 发布了几个新的，可靠的评估基准和度量标准 。 还提供了计算本文中报告的指标
单通道16k-16bit wav中英文数据样本.zip
04-13
本资源包含：ST-CMDS、THCHS-30两个中文数据集各四条语音样本，LibriSpeech ASR corpus 数据集里面一个数据样本（已转为单通道16k-16bit wav格式），供大家参考测试使用。有条件的同学建议自行到数据集官网进行下载即可。
唇形同步模型文件 wav2lip_gan.pth
04-09
本文件是 开源项目 https://github.com/Rudrabha/Wav2Lip 唇形同步的例子 所需的 模型文件。 作者放在 google 网盘里， 国内下载很不方便。 于是我提供了一份在这儿。
wav2lip训练数据预处理综合工具.zip
03-02
"wav2lip训练数据预处理综合工具.zip"是一个压缩包，包含了用于处理此类任务的Python代码库，名为“wav2lip_data_preprocess-master”。在这个项目中，我们将深入探讨数据预处理的各个环节以及如何使用这些工具来...
wav2lip高清虚拟数字人生成代码
06-21
《wav2lip：高清虚拟数字人生成代码详解》 在当今的数字时代，虚拟人物的创建与应用已经越来越广泛，从娱乐业到教育领域，甚至商业活动中都能看到它们的身影。而“wav2lip”则是一种先进的技术，它通过将音频（wav...
wav2lip checkpoint-path相关文件
03-20
1. **wav2lip.pth**：这是一个预训练模型的权重文件，包含了模型在训练过程中学到的所有参数。当你使用wav2lip库时，这个文件是必不可少的，因为它让模型能够根据输入的音频生成相应的唇部运动序列。模型的架构可能...
wav2lip-gan.pth 资源
03-28
wav2lip_gan.pth 不解释你懂的。
Wav2Lip：准确生成一个唇语识别视频
newxiaoou的博客
12-22 1331
Wav2Lip：准确生成一个唇语识别视频
wav2lip训练数据集
07-27
wav2lip的训练数据集是使用了大量的人脸视频和对应的音频数据。这些视频和音频数据被对齐，使得每个视频帧都与相应的音频片段匹配。这样可以建立起人脸运动和语音之间的联系。 具体来说，训练数据集包含了各种不同的人脸、语音样本，以及它们之间的对齐信息。这些样本涵盖了多个人、不同的语言和口音，以及不同的表情和语音表达。 通过使用这个多样化的数据集进行训练，wav2lip的模型可以学习到人脸和语音之间的对应关系，从而能够在给定一段音频的情况下生成出与之相匹配的人脸动画。 需要注意的是，具体的训练数据集细节可能因为不同版本的wav2lip而有所不同。以上是一般性的描述，具体的数据集构成可能会有所差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值