Hallo：复旦、百度等联合出品，音频驱动的智能视觉合成新引擎

---

前言

在当今飞速发展的人工智能领域，音频驱动的视觉合成技术正逐渐成为一颗璀璨的明星，为多媒体内容创作带来了前所未有的可能性和创新机遇。今天，我将带大家深入了解一款由复旦大学、百度、苏黎世联邦理工学院和南京大学的研究人员共同精心打造的音频驱动的层次化视觉合成工具——Hallo。它宛如一把神奇的钥匙，开启了音频与视觉融合的新大门，以其独特的技术原理和卓越的功能特点，在相关领域展现出了巨大的潜力和广泛的应用价值，吸引着众多研究者和开发者的目光。

一、项目概述

Hallo是一个专注于音频驱动的层次化视觉合成的创新项目，其核心目标是生成高质量、生动逼真的肖像图像动画。它的诞生汇聚了多所高校和企业的智慧与力量，是跨领域合作的结晶。来自复旦大学的深厚学术底蕴、百度的强大技术实力、苏黎世联邦理工学院的前沿科研理念以及南京大学的创新思维，共同为Hallo注入了强大的生命力。该项目致力于打破传统视觉合成的局限，为用户提供一种全新的、高效便捷的视觉合成解决方案，使得多媒体内容创作更加丰富多彩、生动有趣。

二、技术原理

• 分层音频驱动视觉合成模块：Hallo的独特之处在于其采用了分层音频驱动视觉合成模块，将人脸细致地划分为嘴唇、表情和姿态三个区域。这种划分方式并非随意为之，而是基于对人脸生理结构和语音与面部动作关联的深入研究。通过分别学习这三个区域与音频的对齐关系，能够更加精准地捕捉语音中的细微变化，并将其转化为相应的面部动作。例如，嘴唇区域的动作与语音中的发音直接相关，通过精确建模嘴唇的运动，可以使生成的动画在口型同步上达到极高的逼真度；表情区域则负责展现情感和情绪的变化，根据语音的语调、语气等因素，生成相应的喜怒哀乐等表情；姿态区域则关注头部的整体运动和姿势变化，如点头、摇头、转头等，使整个动画更加自然流畅。最后，通过自适应加权融合输出，将三个区域的结果有机结合起来，形成一个完整、协调的面部动画，可更精细地建模音视频同步，避免了传统方法中可能出现的面部动作不协调、不自然的问题。
• 端到端扩散范式：Hallo摒弃了传统的中间面部表示模型，运用端到端扩散范式直接从语音输入生成面部动画。在这个过程中，语音信号首先经过音频编码器进行特征提取，将其转换为运动相关的特征表示。同时，参考图像经过ReferenceNet编码全局视觉特征，人脸编码器提取身份相关特征。这些特征在后续的处理中相互融合、交互，直接驱动生成面部动画。这种端到端的方式简化了处理流程，减少了中间环节可能带来的误差和复杂性，大大提高了合成效率和质量。而且，由于不需要依赖特定的中间面部表示模型，Hallo具有更强的通用性和适应性，能够更好地应对不同的输入和任务需求。
  

三、功能特点

• 精细的区域划分与同步建模：如前文所述，Hallo对人脸的嘴唇、表情和姿态三个区域进行分别学习和建模，这使得它在音视频同步方面表现出色。无论是快速的对话场景，还是情感丰富的演讲场景，Hallo都能够准确地捕捉语音与面部动作之间的对应关系，使生成的动画在细节上更加逼真，人物的表情和动作更加自然流畅，仿佛真实人物在现场表演一般。例如，在一段包含多种情感变化和语速变化的语音中，Hallo能够根据语音的节奏和情感色彩，实时调整面部的表情和动作，使嘴唇的开合、眉毛的上扬或下垂、头部的转动等都与语音完美匹配，给观众带来身临其境的视觉体验。
• 端到端的扩散范式：这一特点使得Hallo在处理效率和质量上都有了显著提升。传统的视觉合成方法往往需要经过多个中间步骤和复杂的模型转换，不仅耗时费力，而且容易出现误差积累。而Hallo的端到端扩散范式直接从语音到动画，大大缩短了处理时间，提高了合成的实时性。同时，由于减少了中间环节的干扰，生成的动画质量更加稳定和可靠，能够更好地保留参考图像的身份特征和细节信息，使生成的动画人物既具有与参考图像相似的外貌特征，又能够根据语音内容展现出丰富多样的表情和动作。
• 多种预训练模型支持：Hallo涵盖了denoising UNet、face locator、image & audio proj等多种预训练模型，为用户提供了丰富的选择和强大的基础支持。这些预训练模型在各自的领域都经过了大量的数据训练和优化，具有很高的准确性和泛化能力。用户可以根据具体的任务和需求，灵活调用和组合这些预训练模型，快速搭建起适合自己的视觉合成系统。例如，在处理不同风格的图像或语音时，可以选择相应的预训练模型进行微调，以达到最佳的合成效果。同时，这些预训练模型也为用户提供了一个良好的起点，即使是对于没有丰富经验的开发者，也能够轻松上手，快速实现自己的视觉合成应用。

四、应用场景

• 多媒体内容创作：在视频制作领域，Hallo可以为创作者提供极大的便利。无论是制作电影、电视剧、广告还是短视频，都可以利用Hallo快速生成高质量的肖像图像动画，大大缩短制作周期，降低制作成本。例如，在制作动画电影时，可以使用Hallo根据配音演员的声音快速生成角色的面部动画，然后再进行后期的修饰和调整，使动画角色更加生动形象；在广告制作中，可以利用Hallo将产品的宣传语音与代言人的形象相结合，生成吸引人的广告视频。在网络视频内容创作日益繁荣的今天，Hallo为创作者们提供了一种全新的创作手段，能够帮助他们更加高效地创作出优质的内容，吸引更多的观众。
• 虚拟人物互动：在虚拟现实、增强现实以及游戏等应用中，虚拟人物的真实感和互动性是至关重要的。Hallo可以为虚拟人物赋予更加自然的语音驱动的面部表情和动作，使虚拟人物能够根据用户的语音输入做出相应的反应，增强虚拟人物与用户之间的互动性和沉浸感。例如，在虚拟现实社交应用中，用户可以通过语音与虚拟人物进行交流，虚拟人物会根据用户的语音内容展现出相应的表情和动作，让用户感觉仿佛在与真实的人进行互动；在游戏中，游戏角色的面部表情和动作也可以通过Hallo根据游戏中的语音情节进行实时生成，使游戏角色更加生动逼真，提升游戏的趣味性和吸引力。
• 智能客服与教育：在智能客服系统中，Hallo可以为客服头像添加语音驱动的动画效果，使客服头像能够根据语音内容展现出相应的表情和动作，提高服务的亲和力和可视化程度。例如，当客服回答用户的问题时，头像可以根据语音的语调、语气等展现出微笑、点头等友好的表情和动作，让用户感受到更加贴心的服务。在教育领域，Hallo可以用于制作教学视频、虚拟教师等。例如，可以根据教师的授课语音生成虚拟教师的面部动画，使教学内容更加生动形象，吸引学生的注意力；还可以利用Hallo制作互动式的教育游戏，让学生通过语音与虚拟角色进行互动，提高学习的积极性和效果。

五、快速使用

1、安装环境准备

首先，确保你的操作系统为Ubuntu 20.04/Ubuntu 22.04，并且配备了Cuda 12.1和A100的GPU，这将为Hallo的运行提供强大的计算支持。然后，创建conda环境并激活，接着使用pip安装相关包和项目本身，在安装过程中要注意检查依赖项是否安装完整。此外，还需要安装ffmpeg，它将用于音频和视频的处理。
1）创建 conda 环境：

conda create -n hallo python=3.10
conda activate hallo

1）安装依赖

git clone https://github.com/fudan-generative-vision/hallo.git
pip install -r requirements.txt
pip install .

3）此外，还需要 ffmpeg：

apt-get install ffmpeg

2、下载预训练模型

你可以从HuggingFace仓库获取预训练模型，这是一种方便快捷的方式。或者，你也可以从各源repo分别下载并按特定结构组织，但这种方式需要你对项目的结构和模型的存放位置有一定的了解。在下载预训练模型时，要根据自己的需求和实际情况选择合适的模型，确保模型与你的任务和数据相匹配。
1）安装LFS

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

2）下载模型
通过下面的 cmd 将预训练模型克隆到 ${PROJECT_ROOT}/pretrained_models 目录中：

git clone https://huggingface.co/fudan-generative-ai/hallo pretrained_models

3、准备推理数据

对于源图像，需要将其裁剪为正方形，并且人脸在图像中的占比应控制在50%-70%左右，同时要确保人脸朝前，旋转角度小于30°，这样可以保证模型能够更好地识别和处理人脸特征。对于驱动音频，必须将其转换为WAV格式，并且最好是英语语音，因为目前Hallo在英语语音上的处理效果相对较好。在准备数据时，要仔细检查数据的质量和格式，避免因数据问题导致合成结果不理想。
参考官网提供的样例：https://github.com/fudan-generative-vision/hallo/blob/main/examples

4、运行推理

通过scripts/inference.py脚本并传入source_image和driving_audio作为输入，默认将动画结果保存为${PROJECT_ROOT}/.cache/output.mp4，你也可以通过--output指定输出文件名。在运行推理时，要注意观察控制台的输出信息，及时发现和解决可能出现的问题。如果对合成结果不满意，可以尝试调整参数或更换数据，以获得更好的效果。

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

结语

Hallo作为一款先进的音频驱动的层次化视觉合成工具，在技术原理、功能特点和应用场景等方面都展现出了独特的优势和巨大的潜力。它为多媒体内容创作、虚拟人物互动、智能客服与教育等领域带来了全新的解决方案和创新思路，有望在未来的人工智能发展中发挥更加重要的作用。随着技术的不断发展和完善，相信Hallo将在更多领域得到广泛应用和深入拓展，为多媒体内容创作和人工智能技术的融合带来更多的惊喜和突破。如果你对Hallo感兴趣，想要深入了解和使用，可以访问其GitHub项目地址获取更多详细信息和最新进展。

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索。
📖 技术交流：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，加入技术交流群，开启编程探索之旅。
💘精心准备📚500本编程经典书籍、💎AI专业教程，以及高效AI工具。等你加入，与我们一同成长，共铸辉煌未来。
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！