Audio2Face-语音驱动虚拟人表情

已于 2023-03-23 10:08:57 修改
阅读量4.3k 收藏 5
点赞数 3
分类专栏： 建模 文章标签： 元宇宙 语音驱动 表情 虚拟人 audio2face
于 2023-01-08 20:28:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jbwhysy/article/details/128600811
版权

任务：

输入自己的音频，导入maya模型，让maya模型通过音频驱动说话

教程：
https://www.bilibili.com/video/BV1rZ4y1R7H4/?p=2&spm_id_from=pageDriver&vd_source=ef114f70c3fd4d5394f12dbd3d022bbe

一.下载和安装

1.首先在官网下载NVIDIA Omniverse
https://www.nvidia.cn/omniverse/apps/audio2face/
2.再在Omniverse平台安Audio2Face

NVIDIA Omniverse Launcher
请添加图片描述

二.导入模型

请添加图片描述
请添加图片描述
选中1，出现两个模板头像
请添加图片描述
模型为glb格式，导入结果如下，教程里模型格式为usd
请添加图片描述
下图为教程里的模型格式
请添加图片描述
加灯光，方便看清人脸
请添加图片描述
灯光参数
请添加图片描述
设置表情捕捉对象，1，2，3分别对应
请添加图片描述
捕捉表情
请添加图片描述
请添加图片描述
请添加图片描述
得到一个可以语音驱动的新模型

请添加图片描述

三.输入音频

音频可以通过麦克风录制。

添加一个新语音请添加图片描述
调节表情强度等
请添加图片描述

四.导出模型

导出音频
请添加图片描述
请添加图片描述

五.导入maya

导入模型
动画模式
添加缓存, 导入xml格式
请添加图片描述

添加音频请添加图片描述

六.待解决问题

1.usd格式
2.blendshape

月亮实验室
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
audio2face 与ue5结合实时语音嘴型同步
qq769919187的博客
06-30 4231
打通数字人直播带货全流程
脸部模型和动画（语音或文字驱动的）
03-28
基于语音或文字的人脸动画，包括人脸表情的实现，HMM原理。。。
基于机器学习的语音驱动人脸动画方法
05-11
语音与唇动面部表情的同步是人脸动画的难点之一.综合利用聚类和机器学习的方法学习语音信号和唇动面部表情之间的同步关系,并应用于基于MEPG-4标准的语音驱动人脸动画系统中.在大规模音视频同步数据库的基础上,利用无监督聚类发现了能有效表征人脸运动的基本模式,采用神经网络学习训练,实现了从含韵律的语音特征到人脸运动基本模式的直接映射,不仅回避了语音识别鲁棒性不高的缺陷,同时学习的结果还可以直接驱动人脸网格.最后给出对语音驱动人脸动画系统定量和定性的两种分析评价方法.实验结果表明,基于机器学习的语音驱动人脸动画不仅能有效地解决语音视频同步的难题,增强动画的真实感和逼真性,同时基于MPEG-4的学习结果独立于人脸模型,还可用来驱动各种不同的人脸模型,包括真实视频、2D卡通人物以及3维虚拟人脸.
audio2face控制ue5蓝图
weixin_43041894的博客
09-02 992
audio2face部分1.安装audio2face以及localserver2.打开streamingplayer的demo场景3.localhost/NVIDIA/Assets/Audio2face/blendshape_solve目录下找到male_bs_arkit.usd拖拽到场景4.选中场景中的male_bs_arkit.usd将分页切换到A2F data convert分页5.参数设置6.设置参数后点击set up blendshape solve。
FACEGOOD-Audio2Face数字人试用以及笔记
最新发布
m0_74420562的博客
05-30 867
函数get_audio_frames，将输入的音频数据分割成多个帧，音频数据按照指定的帧率（frames_per_second）和分割长度（chunks_length）进行分割，每个帧包含的音频数据长度由。在我实践时，发现代码功能并不全面，问题所在，模型输入是（1，32，64，1）的一个维度，经过原代码的数据处理后，他的输入维度与原模型维度不匹配，原本的输入维度为（5，37）。第二阶段，主要是通过 LPC 对声音数据做处理，将声音数据分割成与动画对应的帧数据，及 maya 动画帧数据的导出。
用Audio2Face导出驱动MetaHuman的面部动画
青衫磊落长歌行的博客
01-12 1654
用Audio2Face导出驱动MetaHuman的面部动画
Unity & FACEGOOD Audio2Face 通过音频驱动面部BlendShape
热门推荐
当代野生程序猿
07-20 1万+
在元宇宙的热潮下，为了让AI数字人渗透到更多的领域中，FACEGOOD已经将语音驱动口型的算法技术开源，该技术可以实时将音频数据转换为驱动数字人面部BlendShape的权重数据。
利用生成式AI能力，实现中文语料到数字人口型的自动化生产
weixin_60392506的博客
10-30 503
借助 NVIDIA ACE，完美世界游戏能够在软件或游戏中构建和部署自定义语音、对话和动画 AI 模型，实现 AI 驱动的自然语言交互，并将 NVIDIA Omniverse Audio2Face 与其在研的虚拟数字人相结合，通过语音生成表情、口型、肢体动作等，为众多游戏场景实现电影级过场动画的自动化生成，以及更逼真的交互式游戏 NPC。此外，开发来说，运行多个 Audio2Face 实例也是允许的，可以任意指定场景中的角色数量，所有角色均可通过相同或不同的音轨制成动画。
Audio2Face的工作原理
子燕若水的博客
10-02 938
Audio2Face就可以使用retarget技术将这些表情映射到目标角色上。它会自动分析源角色和目标角色的面部结构和特征，找出它们之间的对应关系，然后将源角色的面部表情映射到目标角色上。这样，目标角色就能够呈现出与源角色相同的面部表情。需要注意的是，retarget技术的效果取决于源角色和目标角色之间的相似程度。如果它们之间的面部结构和特征差异较大，那么retarget后的效果可能会出现一些失真或不准确的情况。预加载一个3D数字人物模型(Digital Mark),该模型可以通过音频驱动进行面部动画。
用Audio2Face导出Unity面部动画
青衫磊落长歌行的博客
02-01 2000
开始之前说句话，新年前最后一篇文章了一定别轻易保存任何内容，尤其是程序员不要轻易Ctrl + S在A2F去往Unity的路上，还要经历特殊Blender，自己电脑中已下载好的可能不是很好使。如果想查看相关的可以跳转到下边这两篇链接1.2.如果在操作的时候导致模板usd文件损坏，可以加（点击不能进群后，右键复制链接，在新页面复制进去就行），获得一个新的模板。
AI数字人：最强声音驱动面部表情模型VideoReTalking
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-22 1万+
VideoReTalking是一个强大的开源模型，是目前语音驱动面部表情的模型中效果最好的一个。此模型是由西安电子科技大学、腾讯人工智能实验室和清华大学联合开发的。
微软亚洲研究院论文－具有表情的语音驱动卡通动画系统
06-23
微软亚洲研究院论文－具有表情的语音驱动卡通动画系统
vue使用js-audio-recorder实现一句话识别功能
07-14
vue使用js-audio-recorder实现一句话识别功能：以vue前端框架+腾讯云语音识别为基础，实现客户端长按录音，获取语音转换编译出来的识别码，传给后端去腾讯云语音识别库去换取识别回来的文本尽心客户端的文本查询！...
Audio-Digital-Processing-master_语音信号处理_
09-28
"Audio-Digital-Processing-master"这个项目显然专注于这一主题，提供了实现语音处理的代码库，包括添加噪声和去除噪声的功能。下面将详细介绍相关知识点。 1. **语音信号的基本概念**： 语音信号是人类通过声带...
github资源，自用，face-api演示使用项目
12-28
【标题】"github资源，自用，face-api演示使用项目" 这个标题暗示了这是一个与GitHub相关的项目，主要用于个人使用，且涉及到"face-api"的演示和应用。"Face-api"是一个JavaScript库，专用于在浏览器环境中实现人脸...
XMOS-Stereo-USB-Audio-Class2-Driver-3033_v4.13.0.rar
12-27
在"XMOS-Stereo-USB-Audio-Class2-Driver-3033_v4.13.0.exe"这个压缩包内，包含的是安装驱动程序所需的可执行文件。安装过程一般包括识别硬件设备、拷贝驱动文件到系统目录、注册驱动以及配置系统设置等步骤。对于...
Virtual Audio Cable 4.09-free.rar虚拟声卡
11-17
Virtual Audio Cable（虚拟音频线缆）是一款在Windows操作系统中广泛使用的软件工具，它允许用户创建虚拟的音频输入和输出设备，以便在不同的音频应用程序之间传输音频流。在本文中，我们将深入探讨Virtual Audio ...
Audio2Face
wenhuadream的专栏
07-25 809
【青松微课堂】Audio2Face数字人工作流：软件的下载安装与UI介绍_哔哩哔哩_bilibili。
springboot怎么使用过滤器拦截token
08-27
### 回答1： 可以通过实现 Filter 接口来创建一个过滤器，然后在 Spring Boot 中使用 @Bean 注解将其注册到应用程序中。在过滤器中，可以通过 HttpServletRequest 对象获取请求头中的 token，然后进行验证或者其他操作。具体实现可以参考 Spring Boot 官方文档或者相关教程。 ### 回答2： 在使用Spring Boot中，可以通过创建一个过滤器来拦截token。下面是一个简单的示例，说明如何实现。 首先，需要创建一个自定义的过滤器类，实现javax.servlet.Filter接口。在实现过滤器时，我们可以在doFilter方法中进行token验证的逻辑处理。以下是示例代码： ```java import javax.servlet.*; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.IOException; public class TokenFilter implements Filter { @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { // 将请求和响应对象转换成HttpServletRequest和HttpServletResponse对象 HttpServletRequest httpRequest = (HttpServletRequest) request; HttpServletResponse httpResponse = (HttpServletResponse) response; // 从请求头中获取token String token = httpRequest.getHeader("Authorization"); // 进行token验证的逻辑处理，例如验证token是否过期、是否有效等 // ... // 如果验证通过，将请求继续传递给下一个过滤器或目标资源处理 chain.doFilter(request, response); } // 其他方法，例如init和destroy方法，可以留空不做处理 } ``` 接下来，需要将自定义的过滤器添加到Spring Boot应用程序中。可以使用@Configuration注解将过滤器添加为一个Bean，并使用@Order注解指定过滤器的执行顺序。例如： ```java import org.springframework.boot.web.servlet.FilterRegistrationBean; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.core.Ordered; @Configuration public class FilterConfig { @Bean public FilterRegistrationBean<TokenFilter> tokenFilter() { FilterRegistrationBean<TokenFilter> registrationBean = new FilterRegistrationBean<>(); registrationBean.setFilter(new TokenFilter()); // 设置过滤器的URL映射规则，例如/*表示拦截所有请求 registrationBean.addUrlPatterns("/*"); // 设置过滤器的执行顺序 registrationBean.setOrder(Ordered.HIGHEST_PRECEDENCE); return registrationBean; } } ``` 最后，重新启动Spring Boot应用程序，自定义的过滤器就会拦截所有请求，并对token进行验证处理。 请注意，上述示例只是一个简单的演示，实际应用中可能需要根据具体的需求进行修改和扩展。例如，可以从数据库或缓存中获取token，进行更加复杂的验证逻辑，并在验证失败时返回相应的错误信息。 ### 回答3： 使用Spring Boot实现过滤器拦截Token的步骤如下： 1. 创建一个自定义的过滤器类，实现javax.servlet.Filter接口，并重写doFilter方法。在doFilter方法中，可以通过HttpServletRequest对象获取请求头中的Token信息，并进行相应的验证或处理。 2. 在Spring Boot应用的启动类中，通过添加注解@EnableWebSecurity开启Web安全配置，并通过继承WebSecurityConfigurerAdapter类重写configure方法。 3. 在configure方法中，使用http对象的addFilterBefore方法将自定义的过滤器添加到过滤器链中，指定过滤器在哪个过滤器之前进行拦截。 4. 在过滤器中，可以进行Token的验证和处理逻辑。例如，可以使用JWT来生成和验证Token，或将Token存储在Redis中，根据请求的Token进行校验等。 5. 如果Token验证不通过，可以返回相应的错误信息或重定向到登录页面。如果验证通过，可以进行其他的业务逻辑处理。 总之，通过自定义过滤器并将其添加到Spring Boot的过滤器链中，可以在请求到达Controller之前进行Token的验证和拦截操作，以实现对请求的安全控制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值