数字人+AI换脸简单实现虚拟制片

文章顶部.png

余笙.png

概述

本文将从零开始介绍如何创造并驱动数字人,最后通过AI换脸实现虚拟制片。效果如下: 数字人驱动 换脸憨豆先生

数字人简介

数字人(Digital Human / Meta Human),是运用数字技术创造出来的、与人类形象接近的数字化人物形象。数字人可简单的分为 2D 数字人和 3D 数字人。本文使用的数字人是通过 MetaHuman Creator 制作工具生成的 3D 数字人。3D 数字人的驱动方式可简单的分为真人驱动和模型驱动。本文使用的驱动方式为真人驱动。

AI换脸简介

AI 换脸指的是通过 AI 人工智能技术把原视频或图片的人脸换成其他的人脸。本文使用目前最新的 roop 换脸工具,通过一张照片,把数字人的脸换成憨豆先生。现在比较主流的换脸技术还有 deep facelab 和 SimSwap。

实现

准备工作

首先需要下载虚幻引擎作为数字人的编辑器,下载地址为 www.unrealengine.com/zh-CN/downl…。其次要在虚幻引擎库中下载 MetaHuman 插件。对于数字人驱动还需要一台XR级别以上的苹果手机,下载 Live Link Face app。对于 AI 换脸,需要搭建 Python 环境,具体可按照如下地址搭建:github.com/s0md3v/roop

数字人创建

首先打开虚幻引擎创建一个项目。本文使用的版本的UE5.0。 项目创建

之后导入一个立方体模型,模型下载地址为 www.aliyundrive.com/s/bpHH5zCqu… (模型来自b站UP主修炼自我 space.bilibili.com/243808341)。然后选择一张想做为虚拟人基底的照片导入到UE。本文选择的是憨豆先生的照片。右键点击基地照片选择创建材质。 材质创建

然后双击立方体模型将生成好的材质拖到材质插槽中。 添加材质

点击上方编辑->插件,搜索 MetaHuman 插件并勾选。

添加 MetaHuman 插件

添加完插件之后在内容浏览器中右键->MetaHuman->MetaHuman 本体。 创建 MetaHuman 本体

进入 MetaHuman 本体插件之后,选择网格体中的组件,将之前的立方体导入。之后移动视角,把立方体的一面正对屏幕。接着依次点击提升帧->追踪活动帧。结果如下: 模型关键点确认

我们可以通过移动绿色的点矫正人脸关键点。确认关键点无误之后点击右侧身体选择一个合适的模版。最后选择网格体转 MetaHuman 上传模型到 MetaHuman Creator 进行下一步操作。 上传模型

上传完毕后,进入到 MetaHuman Creator (www.unrealengine.com/zh-CN/MetaH…)。 MetaHuman Creator

可以看到左侧有许多捏脸的设置,可以对我们的模型进行微调。 模型微调

我们的模型在头顶部分存在异常,原因可能是正面没有对好,所以我们在自定义网格体选中头顶调整区域影响,将头顶恢复正常。 自定义网格体微调

当模型调整完毕后重新返回虚幻引擎,点击上方快速添加到项目->打开Quixel Bridge->下载模型 模型导入

模型下载

模型下载完毕之后点击add添加到项目中,并重启项目。之后将人物模型拖到场景中,模型的位置在 ALL/内容/MetaHumans。

数字人驱动

驱动数字人的方式我们采用真人驱动的方式,使用苹果手机的摄像头获取脸部变形数据,通过 Live Link Face 连接虚幻引擎和手机。 首先我们打开 Live Link Face ,模式选择 Live Link(ARKit),进入后点击左上角设置,再点击流送添加目标,输入电脑的IP地址。电脑和手机需要在同一个局域网内。 之后打开我们的虚幻引擎项目,点击窗口 -> 虚拟制片 -> Live Link,添加我们的连接。 设置连接

勾选 Live Link

设置完 Live Link 以后,打开内容浏览器->MetaHumans->Common->Face->Face_AnimBP 动画蓝图。之后点击左下角的动画图表,然后在选中 LLink Face Subj,将默认值改为我们的 Live Link 连接。然后点击左边头像的小圆点录制我们的嘴形动画。录制完毕后保存动画。 Face_AnimBP 动画蓝图

返回我们的世界主页添加关卡序列。 添加关卡序列

点击轨道->Actor到Sequencer->你的虚拟人。把虚拟人添加到关卡序列,然后删除 Face 中的 Face_ControlBoard_CtrlRig。 关卡序列

然后点击 Face 的+轨道->动画->录制好的动画。添加完毕后,选择将此影片渲染为视频或图像帧序列。我们选择 JPG 格式图像导出,如果使用 AVI 格式导出视频会在 AI 换脸部分出现问题。 添加动画

数字人虚拟制片导出

至此我们的数字人虚拟制片已经完成。完成之后,发现自己捏的数字人太丑了,因此我决定再加一步换脸,让我们的虚拟人变得更加生动。

AI换脸

我们在命令行中打开下载好的 roop 的位置,通过命令 python run.py --execution-provider cuda 启动 roop 的换脸界面。添加目标选择憨豆先生的一张照片,再选 target 添加我们生成的 JPG 文件夹,然后关闭 Keep audio,点击 Start 生成换脸视频。 roop 界面

憨豆先生换脸 最后我们就获得了一个逼真的数字人虚拟制片。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值