字节跳动 SOTA 数字人项目 INFP，以声“复活”对话，让头像鲜活

本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/144761176

今天来分享字节跳动的数字人项目——INFP 啦。它可是个能用音频驱动头像图片来唱歌说话的数字人项目呢，在官方与现有数字人项目的对比中表现超棒，算得上是目前音频驱动头像图片项目的 SOTA 啦。

有意思的是，一般的 AI 项目常以动物、星座来命名，而字节跳动这次采用了很有创意的命名，这是按照 MBTI 人格测试中的一类人格类型哦。INFP（内倾、直觉、情感、知觉）是一种人格类型，常被称作“调停者”或“理想主义者”，还有网友说 INFP 是在冰原上行走为落日动容的诗人呢。

技术革新方面呢，跟普通的用一段音频驱动图像说话项目不一样哦，INFP 是一个二元对话中音频驱动的交互式头部生成框架呢，它能够把你的静态头像变成动态的对话伙伴哟。也就是说 INFP 不仅能让头像图片说话唱歌，还能让头像在聊天中根据你的语音实时做出反应呢。

技术概览呢，INFP 是一个轻量级框架，和其他音频驱动数字人项目不同，那些项目只关注单边通信，或者需要手动进行角色分配和明确角色切换，而 INFP 的模型驱动头像在输入二元音频的引导下会动态地在说话和聆听状态间交替呢。而且 INFP 不只是对口型，头部动作也是交互式的、自然的、个性化的呢。

INFP 有着独特的工作流程哦。它先把真实对话中的面部交流行为映射到运动潜在空间里，这可是第一步呢。接着通过去噪学习，实现了从音频到运动的神奇映射。如此一来，你的头像就能依据你的语音节奏以及情感啦，自然而然地进行头部运动和面部表情的变化呢，就好像它真的能听懂你说话，跟你互动一样，是不是很神奇呀？

先来谈谈唇型同步方面哦，先看看那基本的对口型效果呢，让名画都能“开口说话”，是不是很有趣呀。而且唱歌的时候表现超棒呢，口型对得那叫一个准，头部动作也特别自然。

再说说语音交互吧，INFP 的自然交互特性真的很厉害呢，在对话中它能轻松应对，不仅能模拟说话时的口型和表情，聆听时也能展现出自然的面部行为和头部动作，让对话体验超真实呢。

性能方面也超卓越哦，在 Nvidia Tesla A10 上速度超过 40fps 呢，就算是在需要快速反应的场景里，它也能保持流畅和精准的表现。

和同类型的项目 DIM 比较，它表现更好；和其他可以聆听的数字人项目比，它生成的结果有高保真度、自然的面部行为和多样的头部动作；和其他头像说话的数字人比，它生成的结果口型同步精度高、表情富有表现力、头部姿势运动有节奏；和其他唱歌的数字人项目，比如 EchoMimic 等比，那碾压效果可是很明显呢。

它还支持不同的语言哦，像用法语驱动都没问题呢。比起其他说话数字人解决不了的牙齿问题，它生成的数字人说话时牙齿可正常啦。

从生成以及对比效果来看，INFP 无疑是目前音频驱动数字人项目的 SOTA 呢，可惜字节跳动目前只发布了论文和项目页，还没公开代码和使用，包括那个从互联网收集的大规模丰富二元对话数据集——DyConv 。

这里有关于 INFP 的重要信息哦。

论文的地址：

arxiv.org/pdf/2412.04037

项目的地址：

grisoon.github.io/INFP

有兴趣的话可以去亲身感受一下这个神奇的数字人项目呢。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓
在这里插入图片描述

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述