AI换脸实时直播教程,详细步骤记录!

        今天我给大家分享两款实时换脸直播的AI软件进行对比,第一款实时换脸软件为deepfacelive,这款是开源的实时换脸软件,就是任何人都可以下载来进行实时换脸直播,另外一款很牛的也是目前市面最强的AI实时换脸软件VtubeKit-CuJiaAI_LIVE软件,我今天给大家这个两款软件的实时直播最一个评测。

首先我给大家介绍这这两款软件的直播工作流程,简单的说他们的工作流程是这样的:其工作流程大致可以分为以下几个步骤(如果你嫌烦的话,就不用看1234这些流程,我直接在下面简单的总结他个基本工作流程,写这些步骤只是显得自己专业一点,但是对于一些小白来说下面这些1234点都是枯燥无味的,所以你直接跳过1234点看下面总结就行):

  1. 采集面部数据:通过摄像头或者预先录制的视频采集面部数据。
  2. 数据预处理:对采集的面部数据进行预处理,包括尺寸归一化、灰度化、滤波等操作,以便于进行深度学习模型的训练和推理。
  3. 训练深度学习模型:使用大量标注好的面部数据训练深度学习模型,这通常需要高性能的 GPU 和大量的计算资源。
  4. 进行面部识别与跟踪:将训练好的模型部署在实时视频流中,通过模型推理对每个面部进行识别和跟踪。
  5. 输出结果:将识别的面部信息输出,可以用于各种应用场景,如人脸美颜、人脸识别门禁等。
    工作流程总结:这两款直播软件的工作步骤简单的理解就是这样的:deepfacelab训练人脸模型——把训练好的模型放到到deepfacelive和cujiaAI_LIVE软件中实时换脸——用OBS或者直播伴侣进行实时直播
    deepfacelive是deepfacelab的配套软件,专注于实时换脸效果,核心算法和dfl是一模一样的,只是针对实时使用场景进行工程优化可实现对摄像头输入或本地视频的输入,进行实时换脸计算,输出换脸后画面)

        不管用deepfacelive和VtubeKit-CuJiaAI_LIVE软件来实时直播,首先你都得用deepfacelab来先训练一个专属你的直播模型,(就是网上经常说的炼丹,具体怎么用deepfacelab来训练人脸模型,下期我会做一篇详细的教程教大家,这里先说怎么做实时直播),就是你得有模型,比如你想要把自己直播的脸换成刘德华的,你得先用deepfacelab这个软件来训练刘德华的人脸模型,然后我们把这个刘德华的人脸模型放到deepfacelive和VtubeKit-CuJiaAI-LIVE软件中,我们才能做直播,我相信这样说各位小白应该会能理解了(我尽量的说得直白一点),
我们了解这两款直播软件的工作流程后,下面我给大家详细的分享下第一款实时换脸直播软件deepfacelive的实时直播流程:
        教程分享之前先简单的介绍这个deepfacelive软件(这段话基本也是算废话,你可以直接跳到下面黑体字教程那里),DeepFaceLive是一款开源的基于人工智能的面部合成技术,它可以将一个人的面部表情和动作合成到另一个人的脸上,从而实现非常逼真的面部合成效果。由于其高度逼真的效果,DeepFaceLive在影视、游戏、虚拟现实等领域具有广泛的应用前景。使用DeepFaceLive非常简单,只需要准备好两个人的面部照片,然后使用DeepFaceLive的软件进行面部合成即可。在合成过程中,DeepFaceLive会利用深度学习算法来分析面部表情和动作,并将其合成到目标脸部上,从而实现高度逼真的效果。除了在影视、游戏、虚拟现实等领域应用外,DeepFaceLive还可以用于医学领域,比如用于仿真手术和医学教育等方面。此外,DeepFaceLive还可以用于人脸识别技术的研究和开发,从而提高人脸识别技术的准确性和鲁棒性。
这个是软件的界面:

一:deepfacelive教程

教程分为:软件下载————软件调试——软件运行——实时直播效果展示(教程分为四个步骤)

第一步:软件下载

软件下载

目前软件最新版本是20230709版本

百度盘下载地址:deepfacelive最新版本,【2023-0709版】

链接:https://pan.baidu.com/s/1zyA4PwPAJbCVnCYOElVZrg?pwd=26vd

提取码:26vd

原始github官方下载地址,自行在页面中查看下载方法,不赘述

https://github.com/iperov/DeepFaceLive
        1. 显卡N卡、A卡、集显均支持软件运行。 下载链接中有2个版本,N卡下载带NVIDIA字样的版本,A卡和无显卡用户下载带DirectX12的版本
        2. 如果要实现摄像头实时换脸运算,对显卡性能有较高要求。具体性能要求和你摄像头分辨率、模型分辨率有关。我用3080ti显卡,跑1080p摄像头实时换脸,模型分辨率256,可以做到每秒30帧的输出。 其他配置没测试过,大家自己配置和运行效果可以留言供别人参考
        3. 如果电脑性能不足,deepfacelive也能运行,只是计算速度慢,达不到实时。但也可便捷用于换脸视频制作

        具体的下载过程我相信大家都会下载的,如果实在不会的评论区告诉我,我再做一期下载的详细教程,我在这里就省去下载的教程了,直接进入已经下载好的步骤:

第二步:软件调节教程
①软件下载后,先设置语言,把语言设置为汉语

②软件基本流程
软件基本流程就3个,选择输入,设置AI换脸运行参数,选择输出。完整流程和界面分区内容如下图所示其中有2个模块比较特别,就是有个带Insight字样的人脸交换器,和人脸照片驱动器。这两个可以一开始忽略,后面遇到再说。这两个模块实际是其他的换脸算法,实现一张图换脸和让一张图跟随你表情变化的功能。

我们主要先学习deepfacelive正统流程,即如何用deepfacelab训练好导出的DFM格式模型,来实现实时换脸效果

③软件分为四个部分

④输入设置:

deepfacelive支持本地文件输入或本地摄像头输入,通过切换左上角的开关来进行切换

本地文件支持图片文件夹或视频文件作为输入,前者方便你使用dfl切好的序列帧,在这里不做视频文件输入演示,只演示用摄像头直播教程,
摄像机有3个选项,驱动根据你实际情况选,没什么技巧,就看选了哪个更流畅就用哪个设备序号,就是选摄像头分辨率按需选择,如果画面方向倒了,在选择摄像头后,有旋转按钮可以调节

人脸检测器设置
各个参数意思如下检测器:选择人脸检测算法,yoloV5和S3FD两个最常用。前者速度快但不准,后者速度略慢但精准
设备:选择什么硬件设备来运算。一般就选你的显卡。如果你有多个显卡,可以分配不同显卡做不同的模块计算工作。其他节点模块的设备选择方式一样,不再重复描述
检测器窗口大小:这个值越大,能识别到人脸尺寸约宽容,但速度越慢。一般200-300足够。如果画面有人脸却检测不到,增大这个值
检测置信阈值:一般默认值就行。高了可以过滤一些非人脸物件
最大人脸数:选择需要同时换画面上几个人脸。一般为1
排序:选择多个人脸中目标人脸的方法,比如选最大、最左、最中等等
时间维度上平滑:减少每帧之间人脸检测的尺寸波动。一般1就行,开太大会导致音画延迟增加

⑥人脸对齐器
这里参数只需要调节人脸覆盖范围和分辨率两个值,其他值基本用不到
分辨率调整成和你加载的换脸模型一致。一般加载模型后会自动调整这个值,不需要手动改。如果没自动变,就手动改一下
人脸覆盖范围保持默认值不变就行,只有当特殊情况,比如人脸特别肥大,或特别瘦的时候(相机焦距超出寻常范围),可以微调下这个值适配下。

⑦人脸标记器
这里参数默认选Google Facemesh就行,又快又准

⑧人脸交换器
这里模型就是选择已经做好的dfm格式模型
dfm格式模型实际就是deepfacelab的模型,但需要通过deepfacelab自带的这两个脚本来转化格式
通常大家说 DF架构和liae架构都是属于SAEHD模型,用“export SAEHD as dfm.bat”来转格式
如果你训练的是AMP模型,就用另一个脚本来转
转化得到的dfm格式模型,会在deepfacelab的workspace/model目录下,手动移动到deepfacelive目录下userdata/dfm_models中,即可在dflive软件里可见
软件模型有一堆英文名字的模型列表,这些模型并不是本地已安装的,使用后会自动开始从官方仓库进行下载。但由于科学上网原因,国内下载会失败。

帧调节器
几乎没用的节点
唯一用处,你的换脸模型质量太差,但输入源画面太清晰,导致两者融合不和谐,你可以用这个帧调节器,把原始画面的质量给降下来

⑩人脸融合器
人脸XY方向偏移:基本用不到,除非你的五官位置异于常人,需要调节下换上去的脸的坐标位置
人脸缩放:挺有用,如果你脸庞太大,可以适当用这个参数放大换上去的脸,显得更匹配
人脸遮罩类型:使用dst还是src的遮罩信息。默认勾选前2个就好
遮罩内向缩边:同deepfacelab合成参数里的向内缩边erode,一般开15
遮罩边缘羽化:同deepfacelab合成参数里的边缘羽化blur,一般开15-25
色彩迁移:一般用rct做色彩迁移。如果模dfm模型本身光影效果好,这个可以选none
插值:图像缩放用的插值计算法,保持默认bilinear
颜色压缩:用不到
人脸透明度:debug用,常规用不到。就是让换上去的脸透明一点

⑪视频流输出
源:选择窗口显示的画面,可以选择很多模式。最常用是“合成后画面”与“合成后画面否则原帧”,前者遇到画面没有人脸时,画面会卡住不动;后者画面没检测到人脸时,输出原始画面
窗口显示:把输出画面用单独一个窗口来显示
音画延迟:本地使用用不到,填0。只有当你用udp方式直接推流直播端口时,需要用到此参数。国内直播基本用不着,可以通过obs、直播伴侣等软件来实现推流
保存序列帧:如果需要把输出画面逐帧保存,可以在这里设置一个保存路径。如果不需要,就留空。注意保存图片是很费时的,开启后基本实现不了实时直播
补帧:换脸速度跟不上时,使用用补帧方式来生成未计算出来的画面帧
mpegts: 用udp推流时用。国内基本用不着,可用obs代替

⑫预览器这里:

预览区这里就没有什么好说的

第三步:软件运行
我们通过第二步骤的设置好我们的软件的参数后,我现在开始以凯瑟琳·纽顿这个人脸模型来运行换脸的效果,为了公平起见我等下在演示运行cujiaAI_LIVE换脸实时直播的时候,也用凯瑟琳·纽顿这个人脸模型,看看效果如何。

我选择的是用无他相机做为我的摄像头。

效果展示:(本人用OBS录屏的效果)

00:43

这个是我用deepfacelive用这个凯瑟琳的人脸模型的效果,这个效果不是很理想,用做直播的话,这个就肯定不行的

二:VtubeKit-CuJiaAI-LIVE教程

教程分为:软件下载————软件调试——软件运行——实时直播效果展示(教程分为四个步骤)

这款软件的话,据业内人士说这个是上海的一个很牛的AI团队开发的实时换脸直播软件,也算是目前市面上最强最牛的AI换脸直播软件,就是这个软件目前知道的人少,好像这个团队有别的业务所以也不怎么推广,这个是业内人士才懂的,可能业内人士才流通,普通人不怎么知道这个,废话不多说,直接给教程

第一步:软件下载安装

软件下载地址:链接:https://pan.baidu.com/s/1pk-dK-t9F0wD6__kZoFTiQ?pwd=C112

提取码:C112

网页下载地址

软件下载_促加AI (cujiaai.cn)

下载地址,如果你有百度网盘的话,建议用百度网盘下载,如果没有百度网盘的话,就直接用网页下载,我建议大家下载到D盘,因为软件比较大,下载安装包后要解压,下载后的文件夹名称一定不能有中文的,切记一定文件不能有中文,一定要是英文的,不然启动后软件会报错,

第二步:下载安装好后,启动软件:

①软件首页界面

②:软件区域

③第一选择摄像头进行实时换脸直播

④选择摄像头步骤

⑤我选择无他相机做摄像头实时直播

⑥选择超分功能画面

⑦通过简单调节设置后,换脸后的效果

00:41

⑧:其他一些参数都是可以自行调整,自行可以调试效果,因为模型不一样,每个人的脸型不一样调节的效果是不一样的,像视频换脸这个也是非常实用的,下期我会做一起怎么通过deepfacelive和VtubeKit-CuJiaAI-LIVE换脸录制视频做自媒体的教程,这个对做自媒体和直播带货的话,是有很大的帮助的,对于那些对自己颜值不够自信又想做自媒体或者直播带货的朋友来说这个是一个黑科技,值得学习。

结果对比:通过对两个换脸直播软件的对比,在同样的硬件条件,在同样的模型清晰度的情况下,deepfacelive还是比VtubeKit-CuJiaAI-LIVE差太多,而且都是我用 的模型都是比较差的,综上所述,特意做如下总结两款软件的优劣对比:

deepfacelive的优势:免费的,开源,谁都可以用
deepfacelive的劣势:1.清晰度不够, 如果直播效果更加差,因为是窗口捕捉效果更加差,直播几乎行不通,对模型要求非常高

2.硬件要求比较高,像我这种电脑显卡3060和16G的内存几乎运行接近满额资源,如果用OBS和直播伴侣做直播的话,需要更高的硬件要求,

VtubeKit-CuJiaAI-LIVE的优势:1.清晰度高,有美颜和清晰度调节功能对模型要求不高,

2.有超分功能可以调节画面清晰度,提高帧率,画面能做到1080P,在我多次尝试和换比较好的人脸模型后,效果甚至比手机直播还清晰

3。对硬件要求比较低,显卡2080就可以运行,但是如果要做直播还是需要32G的内存,总体来说内存的成本比显卡的成本高,以现在的显卡价格来说,VtubeKit-CuJiaAI-LIVE有较大的成本优势,对于一些个人想做换脸直播的自媒体人来说,是比较好的选择。

VtubeKit-CuJiaAI-LIVE的优势:1软件要收费,免费有水印,不过价格也不算高一个月300,一天10元钱,这个对于个人来说尚能接受。

总结,如果想做换脸做自媒体或者想做直播的话,我还是推荐VtubeKit-CuJiaAI-LIVE,因为如果你选择deepfacelive的话,你想要做到清晰的画面的话,你得训练迭代非常高的模型,如果你自己训练模型的话,你至少要4090显卡,以现在的价格单单显卡就20000元,这个价格对普通人来说不现实,而且你还花时间和电费;但是如果你选择购买模型,一个好的模型至少上万,但是你买了不一定适合你,所以虽然VtubeKit-CuJiaAI-LIVE是收费的,但是综合评估还是VtubeKit-CuJiaAI-LIVE更加适合普通人,现在短视频时代红利摆在这里,建议还是赚钱再说,等到赚到钱了,自己再花钱购买配置更高电脑来自己训练也是不错的选择。

如果有知乎的网友想学习deepfacelab训练模型的教程,请在评论区告诉我,如果想学习的人多的话,我下期做一期详细的deepfacelab自己训练自己模型的教程。

下面分享VtubeKit-CuJiaAI-LIVE换脸的视频效果演示:

01:07

  • 12
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值