HeyGen太他妈牛了

最新推荐文章于 2024-05-31 09:34:17 发布
最新推荐文章于 2024-05-31 09:34:17 发布
阅读量1.1k 收藏 3
点赞数 1
文章标签： 爬虫 人机交互
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shmily77love/article/details/133995807
版权

内容来源：@Gorden_Sun

HeyGen太他妈牛了，在排队了7000个视频之后，我的视频翻译完成了，效果绝对目前最好，没有之一。

口型完美，卡点和嘴型都对的上。声音克隆稍有缺陷但也很好了，毕竟HeyGen只通过40秒的视频来克隆音频。如果刻意对比原视频，情感还原度稍有欠缺。只需上传一段视频即可实现！！！

SaveTwitter.Net_1716074866481274880(360p)

付费方案：HeyGen的视频翻译功能，全套解决
地址：https://labs.heygen.com/video-translate

开源方案：语音转文字：whisper
文字翻译：GPT
声音克隆+生成音频：so-vits-svc（Github：https://github.com/svc-develop-team/so-vits-svc）
生成符合音频的嘴型视频：GeneFace++（++版本还没发代码，GeneFace的Github：https://github.com/yerfor/GeneFace）

SaveTwitter.Net_17151859888618

我的公众号：@大鹏学开发

我的微信号：aaronpeng2046 加我微信拉你进交流群

大鹏学开发
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
揭秘仅用5分钟！如何轻松打造你的个性化虚拟数字人（且不涉及需要付费的工具）
05-20
本文就是使用HeyGen生成的，这个平台生成的效果比较不错，，有很多人像背景模版，也不存在什么版权问题，免费版的可以生成1分钟的视频总时长 接下来跟着我一步步使用HeyGen生成虚拟数字人，我们需要三个步骤，仔细...
在Docker环境下部署GeneFace++项目
marsjin的专栏
04-19 706
温馨提示：第一次执行可以先一步步跑完下面的命令行，把环境跑通后，之后可以直接运行同目录的bash run.sh ${VIDEO_ID}，一键完成下面的所有步骤。##遵循 docs/process_data/guide-zh.md 的步骤来获得预处理后的数据集，并且你可以找到一个二进制化的 .npy 文件。##配置项目，也可以把本地调试过的项目复制到Docker容器中，这里包含本地调试的训练模型。##温馨提示最好按照环境配置说明，配置cuda版本，减少版本兼容问题。##推理测试，合成视频和你的声音。
【数字人】7、GeneFace++ | 使用声音驱动的面部运动系数作为 condition 来指导 NeRF 重建说话头
呆呆的猫的博客
11-17 4881
本文主要介绍 GeneFace++
推荐 GeneFace++：实时三维语音驱动人脸生成的革新之作
最新发布
gitblog_00022的博客
05-31 492
推荐 GeneFace++：实时三维语音驱动人脸生成的革新之作 项目地址:https://gitcode.com/yerfor/GeneFacePlusPlus 项目介绍 GeneFace++ 是一款先进的开源软件库，它采用 PyTorch 实现了一种高度精确的实时三维（3D）说话人脸生成技术。这一创新项目旨在提供高嘴型同步（lip-sync）、高视频逼真度和高系统效率的虚拟人视频合成。通过简单的...
音视频开发之旅（75）- AI数字人进阶--GeneFace++
yabin的专栏
03-14 2445
目录1.效果展示和玩法场景2.GeneFace++原理学习3.数据集准备以及训练的过程5.遇到的问题与解决方案6.参考资料一、效果展示AI数字人进阶--GeneFace++（1）AI数字人进阶--GeneFace++（2）想象一下，一个专为你打造的AI数字人，不仅可以代表你在屏幕上出现，还能带来实实在在的商业价值。之前。
【AI数字人-论文】GeneFace++
陶将的博客
02-06 1590
本篇博文介绍了Geneface++这篇论文
【论文笔记】GeneFace: Generalized and High-FidelityAudio-Driven 3D Talking Face Synthesis
weixin_50862344的博客
06-07 1628
（3）然而，由于生成的标志（多说话人域）和NeRF训练集（目标人域）之间的域转移，我们发现基于NeRF的渲染器在给定预测的地标的情况下无法生成高保真的帧。每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。蒙特卡罗ELBO不依赖于解析计算，而是通过随机采样的方式进行估计，优点是可以应用于各种复杂的概率模型，不受解析计算的限制。代替基于回归的模型，作为音频到运动模型的结构，有助于生成准确且富有表情的人脸运动。
【实战】体验训练Geneface
weixin_50862344的博客
06-12 1531
链接: https://pan.baidu.com/s/1s4g9RUB3OxQZEX7mpoF2ng?pwd=ghry 提取码: ghry。链接: https://pan.baidu.com/s/1Za2AGBfm7QQAHoelrGMcLg?pwd=5krc 提取码: 5krc。训练这篇出过的一些奇奇怪怪的问题基本上都记录在。这东西确实也是把饭喂到嘴巴里了，我也就不赘述了。--来自百度网盘超级会员v2的分享。--来自百度网盘超级会员v2的分享。这个鬼东西要下载的东西不少。
AI视频工具-HeyGen - AIGC 视频创建平台，生成吸引人的商业视频.txt
05-03
AI视频工具-HeyGen - AIGC 视频创建平台，生成吸引人的商业视频
【AI数字人】如何基于GeneFace自训练AI数字人
陶将的博客
10-13 2447
本篇文章详细介绍了如何基于GeneFace项目开启训练的步骤。
数字人算法~SadTalker&&Wav2Lip
whaosoft143ai的博客
11-08 1038
因为作者发现，表情运动是局部的，头部运动是全局的，且表情跟声音的关系比较强，头部姿态跟声音的关系比较弱，将这两个系数解耦开可以减少人脸扭曲。2D数字人根据输入类型的不同，还可以进一步分为视频+音频，wav2lip和geneface属于这一类，这一类算法只生成新的口型，另一类的输入是图片+音频，sadtalker属于这一类，这一类不仅生成新的口型，还生成头部运动，复杂度较高。要想看懂里面的代码，需要对3D版的卷积算子和3D版的grid_sample算子比较熟悉，已经写了很多字了，这里我就偷懒跳过不展开讲了。
ICLR 2023 | GeneFace：高可泛化高保真度的说话人视频合成
Paper weekly
02-05 2995
©PaperWeekly 原创 ·作者 |叶振辉单位 |浙江大学博士生研究方向 |语音合成、说话人视频合成语音驱动的说话人视频合成（Audio-driven Talking Face Generation）是虚拟人领域的一个热门话题，它旨在根据一段输入的语音，合成对应的目标人脸说话视频。高质量的说话人视频需要满足两个目标：（1）合成的视频画面应具有较高的保真度；（2）合成的人脸面部表情应与...
geneface++:Generalized and stable real-time audio-driven 3d talking face generation
liguandong
04-25 839
然而，仅改善预测landmark的质量并不足以实现良好的视频质量，这需要基于NERF的运动到视频模块准确渲染与指定面部运动相对应的人像。使用LRS3-TED的一个子集，提供了190小时的高质量的音频-动作对，为了学习nerf的任务特定渲染器，包括5个视频，平均长度为6000帧，帧率是25fps，在数据预处理中，从音频轨道中提取了hubert特征和音调轮廓，从视频帧中提取了头部姿势和3d关键点，为了训练nerf，目标人物的视频被裁剪为512x512，每帧获取用于分割头部和躯干部分并提取干净背景。
【HeyGen】让照片开口说话 —— 登录和使用：详细指南！
Hellen_201903的博客
12-26 9602
生成的视频质量极高，其中的图片人物会根据你输入的文本进行说话，其口型与面部表情均非常一致且生动。免费额度仅为1个积分，建立一个视频后就会用尽。提供多种可选的声音和语言，使用起来非常方便。
Mixlab工作坊工具箱：talking face
shadowcz007的博客
05-04 910
Talking face 是一种计算机图形学和人工智能的技术，可以实现将一段音频转换为逼真的人脸动画。它可以用于视频游戏、虚拟主持人、语音助手等应用中，使人机交互更加自然和生动。1- SadTalker-Video-Lip-Sync*基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生...
口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后AI工具原来是它...
zandaoguang的博客
10-24 251
视学算法报道编辑：杜伟、大盘鸡这么看来，AI 配音真的可以「以假乱真、真假难辨」。这两天，美国女歌星霉霉（泰勒・斯威夫特）一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。在视频里，霉霉操着一口流利、地道的中文，神情自若，几乎没有早期译制片女主角的那种腔调，口型也能对得上。图源：微博 @会火还没有看过视频的小伙伴们，我们先来一睹为快。视频作者：johnhuu 教英语感觉怎...
【人脸】人脸关键点检测---Face++系列2-4
weixin_41977337的博客
03-17 459
1、《Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression》Face++ 2015年 step1：一个单一的CNN网络去预测全局的人脸关键点； step2：根据估计的的尺度和角度，对人脸图像进行几何的校正； step3：多尺度的裁剪图像块，作为一系列网络的输入，输出更加精准的位置估计，可以重复几次，直到估...
人脸关键点检测7——Face++（3）
小花生的博客
05-31 2294
《Approaching Human Level Facial Landmark Localization by Deep Learning》 2016年，Face++改进 设计思路： 和之前方法类似，第一级进行粗预测，第二级进行精细预测，以关键点为中心的图像patch作为输入，输出结果求平均，作为最后的结果。 网路结构： 其中n = 68，k = 3。 损失函数： ...
口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后 AI 工具原来是它...
lsxxx2011的专栏
11-02 136
转自：机器之心这两天，美国女歌星霉霉（泰勒・斯威夫特）一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。在视频里，霉霉操着一口流利、地道的中文，神情自若，几乎没有早期译制片女主角的那种腔调，口型也能对得上。图源：微博 @会火还没有看过视频的小伙伴们，我们先来一睹为快。视频作者：johnhuu 教英语感觉怎么样，是不是很神奇呢？可以看到，不仅是霉霉，蕾切尔・布罗斯纳安、特朗...
HeyGen API
07-28
根据提供的引用内容，我无法找到与"HeyGen API"相关的信息。请提供更多的上下文或详细的问题，以便我能够为您提供准确的答案。 #### 引用[.reference_title] - *1* *2* *3* [README.md · hegphegp/ant-design-pro-all-javascript - Gitee.com](https://blog.csdn.net/weixin_33570610/article/details/115545147)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值