西安交通大学开源SadTalker模型，图片+音频秒变视频！

已于 2023-06-01 18:35:14 修改
阅读量811 收藏 1
点赞数
分类专栏： 大模型 图象处理 深度学习 文章标签： 人工智能
于 2023-06-01 18:30:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javastart/article/details/130993153
版权
大模型 同时被 3 个专栏收录
208 篇文章 45 订阅
订阅专栏
深度学习
139 篇文章 23 订阅
订阅专栏
图象处理
107 篇文章 17 订阅
订阅专栏
javastart
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
15种测试视频文件和13种测试音频文件
04-02
本资源包含了一套全面的测试文件，旨在帮助用户检测他们的设备、软件或编码解码器对不同视频和音频格式的支持程度。这些文件对于开发者、系统管理员以及普通用户来说都是宝贵的工具，确保他们能够正确播放和处理各种...
开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（四）-测试音频
最新发布
06-03
开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（四）-测试音频
【GitHub项目推荐--数字人开源项目】【转载】
j8267643的博客
01-28 7763
数字人的底层技术包括情感识别、语音识别、情绪语音合成、语音输出和表情动作输出等模块，你可以灵活组合这些模块，来灵活配制出自己的数字人。实时照片驱动集成：https://github.com/waityousea/xuniren。消费级 PC 大模型：https://github.com/THUDM/ChatGLM-6B。UE5工程：https://github.com/xszyou/fay-ue5。开源地址：https://github.com/TheRamU/Fay。
开源项目推荐：OpenTalker Video Retalking - 实时视频对话的新纪元
gitblog_00009的博客
03-21 448
开源项目推荐：OpenTalker Video Retalking - 实时视频对话的新纪元 项目地址:https://gitcode.com/OpenTalker/video-retalking 项目简介 OpenTalker Video Retalking 是一个创新的开源项目，它专注于提供实时、交互式的视频对话体验。该项目的核心在于实现了一种高效、低延迟的视频通信框架，让开发者能够轻松构建出...
SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking
weixin_41967328的博客
03-14 4518
我们提出了SadTalker，它从音频中生成3DMM的3D运动系数(头部姿势，表情)，并隐式调制了一种新颖的3D感知面部渲染，用于说话的头部生成。为了学习真实的运动系数，我们明确地分别模拟音频和不同类型的运动系数之间的联系。准确地说，我们提出ExpNet通过提取系数和3d渲染的面部来从音频中学习准确的面部表情。对于头部姿势，我们通过一个有条件的VAE来设计PoseVAE来合成不同风格的头部运动。最后，将生成的三维运动系数映射到所提出的人脸渲染的无监督三维关键点空间，并合成最终的视频。
【论文精读】 SadTalker：Stylized Audio-Driven Single Image Talking Face Animation（CVPR2023）
风信子的猫Redamancy的快乐星球
03-24 4361
不自然的头部运动扭曲的表情和身份变化。作者认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面，使用 3D 信息也存在表情僵硬和视频不连贯的问题。因此作者提出SadTalker，生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。为了学习逼真的运动场系数，作者建模音频与不同类别运动场系数之间联系。作者提出ExpNet，蒸馏运动场系数与三维渲染人脸学习准确面部表情。对于头部姿势，作者设计PoseVAE生成不同风格头部动画。
AI数字人：sadtalker让照片开口说话
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-07 4372
西安交通大学也开源了人工智能SadTalker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。研究团队认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面，明确使用 3D 信息也存在表情僵硬和视频不连贯的问题。
SadTalker 学习笔记
pylittlebrat的博客
05-29 1776
通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。也就是说，不自然的头部运动、扭曲的表情和身份修改。我们认为，这些问题主要是因为oflearning从耦合的二维运动场。另一方面，明确地使用3D信息也遭受僵硬的表达和不连贯的视频的问题。我们提出了SadTalker，它产生的3D运动系数（头部姿势，表达）的3DMM从音频和隐式调制一个新的3D感知的面部渲染说话的头部生成。为了学习真实的运动系数，我们明确地建模音频和不同类型的运动系数之间的连接。
AIGC生成视频模型+ StreamingT2V兼容SVD和animatediff
04-16
1. Picsart AI Research等团队发布了StreamingT2V，一种生成长达2分钟、1200帧的AI视频模型，超越了Sora的60秒时长，且为开源项目。 2. StreamingT2V兼容SVD和animatediff等模型，有助于促进开源生态发展，理论上可...
SP++3.0 国内数字信号处理开源库.rar
08-31
SP++ (Signal Processing in C++) 是一个关于信号处理与数值计算的开源 ...序库，由西安交通大学张明老师编写，该库提供了信号处理与数值计算中常用算法的 C++实现，每每看到前辈的编写说明和心路体会，都觉万分感动。
Auto-DL:Auto-DL 可帮助您制作深度学习模型，而无需编写一行代码并尽可能少地提供输入
07-23
发电机 Auto-DL 的接口部分分别包含基于 React 和 Django Rest Framework 的前后端服务器。 后端根据收到的请求调用 。 Generator 将 DLMML 作为子模块。 演示 设置 安装所有必要的库和二进制文件 sudo ./scripts/install.sh 按照在本地运行BackEndApp和FrontEndApp ，或者让它 RIP！ ./scripts/run.sh # or you can pass --install to perform both step 1 and 2 ./scripts/run.sh --install 怎么跑 # clone the repo git clone https://github.com/Auto-DL/Generator.git git submodule init git submodule
Visual C++音频视频处理技术及工程实践(含源码2/2)
11-19
主要内容包括软件Visual C++2005的开发技术、DirectSound开发音频、DirectShow/VFW开发视频、MMX/SSE进行多媒体汇编编程、DM642 DSP进行音视频算法优化和主流视频算法MPEG-4/H.264的编码原理及工程实践。本书系统地...
【实战】体验SadTalker
weixin_50862344的博客
06-12 613
链接: https://pan.baidu.com/s/18ssIL7vrRg_mcov5H6hEQA?pwd=9xkm 提取码: 9xkm。这篇东西也算是出来有一段时间了。一直在等训练代码，但是好像遥遥无期，先做个简单的环境记录，等后面训练代码出来连同论文一起记录一下。很顺利，基本上也没啥问题，就是下载checkpoint 有点久。--来自百度网盘超级会员v2的分享。这两个权重我全部丢在百度网盘了。
（三）SadTalker 让stable diffusion 人物可以说话
西风瘦马
05-01 5523
可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持,可以SD出图后，结合一段音频合成面部说话的视频（抖音常见的数字人）
SadTalker（CVPR2023）-音频驱动视频生成
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
03-19 2516
SadTalker CVPR2023，作者利用3DMM运动系数作为中间表征，学习其与视频之间关系。
【虚拟数字人】SadTalker简易部署教程
AI知识搬运工
08-01 2917
视频教程在这里：sadtalker数字人创建简易教程项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。
基于SadTalker的AI数字人视频（以AutoDL算力云平台部署为例）
Little_Carter的博客
06-24 2834
SadTalker是一个开源的虚拟数字人制作工具，可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式，例如静态模式、参考模式、调整大小模式等，以便更好地进行自定义应用程序。
【论文阅读】SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Ta
weixin_57974242的博客
01-22 1183
SadTalker：学习逼真的3D动作系数，用于风格化的音频驱动单张图像说话人脸动画
SadTalker项目上手教程
mryang125的博客
04-10 9382
最近发现一个很有趣的GitHub项目，它能够将一张图片跟一段音频合成一段视频，看起来毫无违和感，如果不仔细看，甚至很难辨别真假，预计未来某一天，一大波网红即将失业。虽然这个项目目前的主要研究方向还是基于cuda的脸部训练，生成动态的视频，但如果能够接入语音服务，利用ChatGPT实时生成对话prompt，配合这个项目实时渲染动态视频，那么一个灵动的对话机器人就产生了。想想这两个月ai正在以可怕的速度进化，未来生命以数字形式留存，机械飞升不再是科幻小说才有的场景。
huggingface 中文模型实战
06-12
好的，我很乐意为你解答关于huggingface中文模型实战的问题。 Hugging Face是一个知名的自然语言处理工具库，提供了丰富的预训练模型和API接口，方便用户进行各种NLP任务的实现。下面是一些关于huggingface中文模型实战的建议： 1. 了解huggingface中文模型的种类和使用方式。目前huggingface中提供了BERT、GPT等多种中文预训练模型，可以根据具体任务需要选择合适的模型进行使用。同时，huggingface也提供了Python API接口和命令行工具，方便用户进行模型的加载和使用。 2. 准备数据集并进行预处理。在进行中文模型实战之前，需要准备好对应的数据集，并进行数据清洗、分词、标注等预处理工作，以便于模型的训练和测试。 3. 进行模型的训练和微调。根据具体任务需要，可以选择使用已经预训练好的模型进行微调，也可以从头开始对模型进行训练。在进行模型训练和微调时，需要注意调整好超参数、选择合适的优化器和损失函数，以取得更好的效果。 4. 进行模型的评估和推理。在模型训练完成后，需要对模型进行评估和推理，以验证模型的性能和效果。可以通过计算损失函数、计算准确率等方式进行模型评估，也可以通过与真实数据进行对比，观察模型的输出结果。 总的来说，huggingface提供了便捷的中文NLP工具，并且在中文模型的预训练和微调方面也有丰富的资源和经验。如果你想要进行中文NLP任务的实践，可以尝试使用huggingface来快速实现。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值