【AI源码】音频和图片生成你的数字人口播

带表情、带头部运动。适合做一些名人短视频鸡汤口播 类似此前微软和阿里emo那个方案

1、介绍：

能够通过单张静态肖像和输入音频生成具有自然流动运动的谈话视频，它采用了一种普遍的运动表示方法，能够捕捉广泛的面部动态，包括细微的表情和头部运动。

2、框架概述

（1）该框架的核心在于一个普遍的运动表示方法，它能够捕捉面部动态的复杂性，包括细微的表情和头部运动，而这些是现有模型通常忽视的。

（2）通过自监督学习策略提升了运动描述的能力，包括通过度量学习和相互信息消除技术来构建身份编码器，以及通过层次聚合层来学习强大的运动表示。

（3）此外，该框架还集成了扩散模型和方差调整器，以生成多样化且可控的面部动画。 （

4）在实验部分，AniTalker 展示了其在生成详细、逼真的面部运动方面的能力，并强调了其在实际应用中创造动态化身的潜力。

3、案例

项目主页网站还提供了多个视频演示，包括音频驱动和视频驱动的谈话面部生成，以及长视频生成和方法比较等。

地址