一件部署安装百度开源数字人项目Hallo！图片视频！效果炸裂！含整合包！开源免费使用阿里蚂蚁集团推出的EchoMimic开源项目：为唱歌和对话提供支持的AI数字人技术（附代码）

于 2024-09-12 18:20:35 发布
阅读量491 收藏 13
点赞数 12
分类专栏： 智能工具 文章标签： 音视频 数字人 免费 开源 视频 对话 唱歌
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014374009/article/details/142182773
版权

一件部署安装百度开源数字人项目Hallo！图片视频！效果炸裂！含整合包！开源免费使用阿里蚂蚁集团推出的EchoMimic开源项目：为唱歌和对话提供支持的AI数字人技术（附代码）。

在这里插入图片描述

近日，AI领域迎来了一个重磅消息——百度联合复旦大学、苏黎世联邦理工学院和南京大学共同推出一个开源项目，名为"Hallo"。它能够通过上传图片并输入语音，生成与人物嘴唇同步、表情变化和姿态变化相匹配的动画。

官网：https://fudan-generative-vision.github.io/hallo/#/

01核心技术

Hallo的核心技术革新在于其引入的“交叉注意力机制”，该技术巧妙地在音频输入与视觉输出之间建立了精密的联动。

通过这种机制，Hallo能够实时地让声音与嘴唇运动、面部表情以及头部动作实现高度同步，从而呈现出流畅而自然的动画效果。

相较于传统技术，Hallo无需繁琐的中间处理步骤，即可直接生成高清逼真的动画视频，为用户带来前所未有的沉浸式体验。

在这里插入图片描述

Hallo的研究团队在技术创新上更进一步，引入“时间对齐技术”，这一技术确保了生成视频在时序上的连贯性和一致性。

通过精确的时间对齐，每一帧之间的动作过渡都显得流畅而自然，为用户带来更加逼真的视觉体验。

此外，研究团队还巧妙地结合了扩散生成模型和基于UNet的去噪器，这些技术的融合使得生成的动画不仅在视觉上保持了高度的保真度，还呈现出丰富细腻的细节。

02应用场景

经典电影致敬：通过动画技术向经典电影致敬。

在这里插入图片描述

虚拟角色：创建虚拟角色，用于游戏、电影或其他媒体。

在这里插入图片描述
真实人物：将真实人物的动作和表情转化为动画。

在这里插入图片描述
动作控制：精确控制角色的姿态、表情和嘴唇动作。
在这里插入图片描述
歌唱动画：生成与歌唱同步的动画。

在这里插入图片描述
跨演员表现：实现不同演员之间的表现转换。
在这里插入图片描述

03一键启动

步骤一
打开链接：https://pan.quark.cn/s/c0dde37654e0

步骤二
下载安装包至本地后双击即可一键启动，自动打开一个简单的用户界面

⇩

输入视频/音频

⇩

调整各种参数

⇩

就可以等待生成数字人啦

电脑配置如下：

Windows 10/11 64位操作系统

12G显存以上英伟达显卡

EchoMimic是蚂蚁集团最新推出的AI数字人开源项目，它能够为静态图像注入生命，赋予它们语音和表情的活力。利用深度学习技术，EchoMimic结合音频和面部特征点，创造出极具真实感的动态视频。这项技术不仅能够独立使用音频或面部特征来生成视频，还能将两者融合，实现更加自然流畅的口型同步效果。EchoMimic支持包括中文和英语在内的多种语言，尤其适合唱歌等多样化场景。其在娱乐、教育、虚拟现实等多个领域的应用，预示着数字人技术迎来了一次革命性的飞跃。

在这里插入图片描述
EchoMimic功能特色
音频同步动画
EchoMimic通过分析音频波形，能够精确地生成与语音同步的口型和面部表情，为静态图像带来生动的动态效果。

面部特征融合
利用先进的面部标志点技术，EchoMimic捕捉并模拟眼睛、鼻子、嘴巴等关键部位的运动，大大增强了动画的真实感。

多模态学习
结合音频和视觉数据，EchoMimic采用多模态学习方法，进一步提升了动画的自然度和表现力。

跨语言能力
支持中文普通话和英语等多种语言，EchoMimic能够满足不同语言区域用户的动画制作需求。

风格多样性
EchoMimic能够适应日常对话、歌唱等多种表演风格，为用户提供了广泛的应用场景。

在这里插入图片描述

安装及使用
1、 下载代码

  git clone https://github.com/BadToBest/EchoMimic
  cd EchoMimic

2、 Python 环境设置

系统环境：

Centos 7.2/Ubuntu 22.04，Cuda >= 11.7

GPU：A100（80G）/ RTX4090D（24G）/ V100（16G）

Python 版本：3.8 / 3.10 / 3.11

创建 conda 环境：

  conda create -n echomimic python=3.8
  conda activate echomimic

安装软件包pip

  pip install -r requirements.txt

3、 下载 ffmpeg-static

下载并解压ffmpeg-static，然后

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

4、下载预训练权重

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimic pretrained_weights

pretrained_weights的组织结构如下：

./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── face_locator.pth
├── sd-vae-ft-mse
│   └── ...
├── sd-image-variations-diffusers
│   └── ...
└── audio_processor
    └── whisper_tiny.pt

其中denoising_unet.pth / reference_unet.pth / motion_module.pth / face_locator.pth是EchoMimic的主要检查点。

5、 音频驱动算法推理

运行python推理脚本：

  python -u infer_audio2vid.py

6、 音频驱动算法推理自己的案例

编辑推理配置文件./configs/prompts/animation.yaml，添加自己的案例：

test_cases:
  "path/to/your/image":
    - "path/to/your/audio"

运行python推理脚本：

  python -u infer_audio2vid.py

在这里插入图片描述

项目地址
github: https://github.com/BadToBest/EchoMimic

官网：https://badtobest.github.io/echomimic.html

EchoMimic的推出不仅是阿里巴巴在数字人技术领域的一次重大突破，也是对现有技术的一次全面革新。传统肖像动画技术往往依赖单一的音频驱动或面部关键点驱动，各自拥有独特的优势。EchoMimic则巧妙地将这两种驱动方式融合，通过音频和面部关键点的双重训练，创造出更加逼真、自然的动态肖像效果。这一创新不仅提升了动画的表现力，也为数字人技术的发展开辟了新的可能性。

以下是20个免费开源的数字人项目，它们涵盖了虚拟人、数字角色生成、表情动画等多个领域，并分别介绍其主要特点和访问链接：

1. MakeHuman

  • 特点: 一款免费的开源3D人类建模工具，可以生成可定制的数字人模型。提供了对人体各部分的精细控制，适合动画、游戏和CG制作。
  • 访问: MakeHuman

2. Blender MetaHuman Add-on

  • 特点: Blender 社区提供的插件，可以结合 Unreal Engine 的 MetaHuman 生成数字人，并通过 Blender 进行动画处理和自定义。
  • 访问: Blender Add-ons

3. Avatarify

  • 特点: 使用 AI 技术将普通视频转换为实时的虚拟形象，并支持视频通话中的实时虚拟表情同步。
  • 访问: Avatarify

4. DeepFaceLab

  • 特点: 一个广泛使用的深度伪造开源工具，可以创建和修改面部表情及换脸效果，适合数字人物动画。
  • 访问: DeepFaceLab

5. DeepMotion Animate 3D

  • 特点: 基于AI驱动的3D动画工具，提供数字角色的骨骼追踪和动作捕捉功能，适用于动画和游戏开发。
  • 访问: DeepMotion

6. FaceGen

  • 特点: 提供了3D人脸生成的工具，可以根据照片生成虚拟人脸，适合创建可定制的虚拟角色。
  • 访问: FaceGen

7. DeepFace

  • 特点: 用于人脸识别和人脸表情生成的开源工具，适合虚拟人的面部识别、追踪和情感分析。
  • 访问: DeepFace

8. VRoid Studio

  • 特点: 日本开发的虚拟人模型生成工具，特别适合生成动漫风格的虚拟角色，并支持动画和游戏应用。
  • 访问: VRoid Studio

9. OpenPose

  • 特点: 提供实时人体姿势估计和表情捕捉的开源工具，可以将摄像头拍摄的图像转换为骨架追踪数据，适合数字人物动画。
  • 访问: OpenPose

10. OpenFace

  • 特点: 用于实时面部识别和表情捕捉的工具，支持对虚拟人的面部动画进行详细控制。
  • 访问: OpenFace

11. Mano (Hand Model)

  • 特点: 提供人类手部的3D建模工具，用于虚拟角色的手部动画和手势捕捉。
  • 访问: Mano

12. Mixamo

  • 特点: 提供免费的人物动作捕捉和动画生成工具，可以为虚拟角色添加预制的动作。
  • 访问: Mixamo

13. Choregraphe Suite (NAOqi)

  • 特点: 用于开发和控制 Pepper 和 NAO 机器人，这些机器人可以被编程为具有类似人类的行为和面部表情。
  • 访问: NAOqi

14. OpenMMLab

  • 特点: 提供了多种基于深度学习的人体姿势、面部表情追踪和数字人物动画解决方案。
  • 访问: OpenMMLab

15. Godot Engine

  • 特点: 一个开源的2D/3D游戏引擎，支持自定义的数字人动画和表情捕捉。
  • 访问: Godot Engine

16. Unity + Digital Human Toolkit

  • 特点: Unity 提供的虚拟数字人工具包，支持3D虚拟人的动画制作和表情捕捉。
  • 访问: Unity Digital Human

17. Morph Targets Blender

  • 特点: Blender 提供的数字人物面部表情动画插件，可以根据面部表情生成动态表情变化。
  • 访问: Morph Targets Blender

18. Faceshift

  • 特点: 提供实时面部表情捕捉和动画生成，适合游戏和影视制作中的虚拟角色表情动画。
  • 访问: Faceshift

19. Character Creator

  • 特点: 提供3D虚拟人物生成，支持个性化的外貌、服装和动作定制，广泛应用于游戏和影视。
  • 访问: Character Creator

20. Emotiy

  • 特点: 提供基于面部表情的情感分析和虚拟角色情感驱动功能。
  • 访问: Emotiy

这些开源项目和工具提供了数字人物的创建、面部表情捕捉、动画生成和情感分析等功能，广泛应用于游戏、动画、虚拟现实和影视等领域。

代码讲故事
关注
  • 12
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
百度开源数字人项目Hallo，效果炸裂！
duoshehuan6005的博客
06-17 1932
Hallo项目不仅推动了肖像动画技术的发展，也为个性化和多样化的动画创作提供了新的可能性。随着技术的不断进步，我们期待未来能够看到更多令人惊叹的动画作品。
开源最强数字人项目，爆了！（附整合包）
程序员小麦的博客
06-25 1328
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
开源数字人项目Hallo
liu289747235的专栏
07-09 571
如果需要修改监听ip和端口，可以修改文件app.py文件的demo.launch(inbrowser=True, share=share_url)调用代码把ip和端口带上。12G显卡执行时间非常畅3s的视频就需要很长时间，如果10s 20s那就更长了，效率差。最终的到的效果也不怎么样，当然我想要的就是至少半镜的任务，而不是只有大头贴。如果是只有大头贴的张片可能效果还可以一点，不过也没网上说的那么多牛逼。把上面百度网盘的models解压到项目的根目录下。Python选择3.10+吧，我的版本3.11。
免费开源 | AI绘画 数字人工具合集大放送！六款超强AI数字人工具使用测评！
A1353192296的博客
07-17 1250
咱们直接举个栗子：今年4月中旬，某东刘强东的数字人“采销东哥”亮相某东的直播间，不仅复刻了刘强东的语速、口音，习惯性动作也一模一样。 在讲话时偶尔搓动手指，强调某件事时会配合更大幅度的手部动作，还有时不时地点头等。围观网友表示，都不太能看得出这个东哥竟然是数字人！
全网最强数字人大盘点，一口气看完！（整合包）
2401_85343303的博客
07-19 1089
数字人技术的发展，正在不断突破我们的想象。我知道大家喜欢看图，刚好我图很多哈哈，直接来一个技术进步的对比图：随着AI技术的不断推出，让我们能体验到越来越强的开源AI数字人，如果你对数字人技术充满好奇，如果你想亲手体验数字人带来的震撼效果，那么现在就是最好的时机。让我们一起见证数字人技术的魅力和无限可能（一起将“危险”送到全世界去吧）！
盘点目前有关数字人的开源项目
debug_ding的博客
07-15 3753
本文将对一些目前较为热门的数字人生成相关开源项目进行分类整理和总结，以供广大开发者和研究人员参考。
ComfyUI-Hallo: 开源项目安装与使用指南
gitblog_00734的博客
08-16 777
ComfyUI-Hallo: 开源项目安装与使用指南 ComfyUI-Hallo项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-Hallo 一、项目介绍 ComfyUI-Hallo是一款基于ComfyUI框架开发的图形界面工具，它旨在简化AI模型在不同设备上的部署流程。该项目通过提供一个直观的界面，帮助开发者轻松构建、测试和优化AI模型。 二、项目快...
厉害了，Pinokio！所有AI工具，一键安装，全部免费！整合AI绘画、AI视频、AI语音...
分享AI工具、AI技术、AI学习经验，感谢大家关注
07-03 578
程序员X小鹿：最近发现了个 AI 神器，简直是 AI 小白的福音！市面上几乎所有开源的 AI 应用，都被整合在了这个工具里了：包括 AI 绘画、AI 视频、AI 音乐、AI 数字人等各个领域。而且这些 AI 应用都可以傻瓜式地一键安装！像大家熟悉的 Stable Diffusion Web UI、ComfyUI、Fooocus、Stable Video Diffusion、StableAudio、Hallo 等等，全部可以一键安装！
数字人整合包集合，第六个最好用，附免费下载链接
Everly_的博客
07-17 856
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
wagtailclasssetter：警告：此仓库不再维护！ Hallo.js编辑器中链接标记的类设置器
02-06
Hallo.js编辑器中链接标记的类设置器 从Wagtail社区中查看以获取更多令人敬畏的软件包和资源。 快速开始 pip install git+https://github.com/springload/wagtailclasssetter.git 在INSTALLED_APPS部分中将...
计算N!的汇编实验 键盘输入数字
12-14
计算N!的实验 实验内容：在键盘输入数字，结果显示在屏幕上。
ist的matlab代码-hallo-github:我在GitHub上的第一个项目。在这里您可以找到有关我的一些信息
05-26
作为LM学生，我在GitHub上的第一个项目。 在这里，您可以找到有关我的一些信息。 我是Jan，目标是将更多的专业精神带入软件开发中。 那就是我创造的。 在那里，您将找到有关专业软件开发（尤其是方法和工具）和C＃...
上手大模型，武装到牙齿，惊艳所有人！：一些惊艳的大模型应用和边缘端推理实现方案
shiter编写程序的艺术
12-27 650
如果我们想让模型做智能问答，我们可以使用一些包含问题和答案对的数据集来微调模型，使它能够根据给定的问题生成合适的答案。编码器-解码器架构：编码器-解码器架构由编码器（encoder）和解码器（decoder）两部分组成，编码器负责将输入文本转换为一个固定长度的向量表示，解码器负责根据这个向量表示生成输出文本。这是因为增加的编译器步骤允许优化，包括代码的高级表示(例如，循环展开)和低级执行(例如，强制操作对象与硬件处理器原生支持的类型之间的转换) ，这使得代码的执行速度更快，快了一个数量级。
浅析网页不安装插件播放RTSP/FLV视频的方法
dianliang01的博客
09-06 793
点量云流提出了一种基于后台拉流转码的方案，将RTSP/RTMP/FLV等协议的视频流转换为WebRTC格式，实现在现代浏览器中的无插件播放。此方案具有良好的兼容性，支持主流浏览器，无需担心兼容问题。它利用浏览器硬件解码能力，减少终端计算资源消耗，并且具备低延迟和高实时性的优点，延迟可控制在100ms以内，非常适合摄像头监控领域。此外，前端集成简单，仅需使用标准WebRTC接口即可接入，降低了复杂度。
使用ffmpeg在视频中绘制矩形区域
宣晨光
09-05 1139
使用ffmpeg中的drawbox 滤镜功能，选择性的绘制区域
视频加密软件哪个最好用？怎么对视频文件设置加密？公司视频文件加密的最佳选择！
最新发布
2401_86434954的博客
09-09 695
其视频文件加密方法简单高效，只需在企业的每台电脑上安装该软件，并设置加密策略，选择需要加密的视频文件，设置密码、加密模式等参数，即可实现一键加密。这是一款专为企业设计的文件加密软件，不仅支持视频文件的加密，还具备实时监控与报警功能，能够全面监控内网的运行情况，及时发现并应对潜在的安全风险。这是一款免费的开源磁盘加密工具，支持AES-256位加密技术，不仅支持整个硬盘分区的加密，也可用于单个文件或文件夹的加密。因此，确保视频文件的安全性，防止未经授权的访问、篡改或泄露，成为不可忽视的重要任务！
Pr：首选项 - 音频
qq_41176800的博客
09-06 612
Pr菜单：编辑/首选项Edit/PreferencesPremiere Pro 首选项中的“音频”Audio选项卡主要作用是控制音频的处理设置，包括音量调整、波形生成、音频渲染等选项，这些设置有助于优化音频的处理和编辑工作，适用于不同的剪辑需求和项目要求。自动匹配时间Automatch Time指定已调整的任何控件返回到其先前设置的时间（在调音台中），以秒Seconds为单位。受影响的控件包括...
什么是视频矩阵
yzf060109的专栏
09-06 922
当然，指挥中心的视频应用相对复杂，涉及的视频流协议和设备特性，应用场景也是多种多样，需要有更复杂的视频矩阵设备，或者集成化的设备与之配套应用。那里的电视机上都播放着同一个画面，也是使用视频矩阵，将要播放的视频源接入到视频矩阵的输入上，然后，将所有电视接入到视频矩阵的输出上，就可以所有电视显示同一个画面了。目前最常用的视频矩阵接口是HDMI接口，也就是说，我们需要把视频加入到矩阵进行管理，必需让视频以HDMI方式输出，像我们的电脑，摄像机，视频会议终端都有HDMI的输出接口，另外也有这样的情况，
写一个c语言的hallo word
06-02
很好，下面是一个简单的 C 语言程序，可以输出 "Hello, world!"。 ``` #include <stdio.h> int main(void) { printf("Hello, world!\n"); return 0; } ``` 这个程序中，`#include <stdio.h>` 是一个预处理指令，用于包含标准输入输出函数库。`int main(void)` 是程序的主函数，`printf("Hello, world!\n");` 是用于输出 "Hello, world!" 的语句，`\n` 是转义字符，表示输出一个换行符。`return 0;` 是用于告诉操作系统程序运行成功的语句。 您可以将上述代码保存为一个名为 `hello.c` 的文件，然后使用 `gcc` 命令编译该文件： ``` gcc -o hello hello.c ``` 最后使用 `./hello` 命令执行该文件即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值