【Stable-Diffusion】和【DeepFaceLab】配合:事半功倍甚至天衣无缝

(零)前言

本篇主要提到:人工智能SD+人脑 + 人工智能DFL配合,最终让仅有少量照片的人物出现在视频中。
更多Stable-Diffusion(AI绘图)内容:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》
更多DeepFaceLab(换脸)内容无单独索引:🔗《可以提高DeepFaceLab(DeepFake)合成最终视频速度的方法》

(一)DeepFaceLab(DeepFake)

换脸的效果非常好,它较最初的DeepFake有很大改进,生成的视频能以假乱真(还需后期处理一下噪点等)。
但DFL需要大量高质量的图片源脸(Source)(src),如果仅有少量照片,则无法涵盖多个角度光影,甚至连清晰度都不够。这时强行使用DFL学习则很难降低loss,AI再厉害也回天乏术,最终视频效果根本无法入目。

参考:来自[伊万-佩罗夫]的 Git仓库地址论文地址

(二)Stable-Diffusion(WEBUI)

通过在一个潜在表示空间中迭代“去噪”数据来生成图像。最大的特点是非常快,用普通的显卡几秒钟可以画出结果。
同时可以通过比较少量图片来训练LoRA模型。但对于生成人物来说,远景加面部表情有些问题,有时生成很像,有时不像,有时很离谱。

参考:这是我们用到的 SD仓库WEBUI仓库,以及 论文地址

(三)AI相互配合(加上人)

别忘了Stable-Diffusion生成图片很快,甚至训练也很快。
我们还可以通过提示词(Prompt)控制人物姿态方向表情动作。所以我们可以这么干:

  1. 用某个人物少量的照片生成TA的LoRA模型。
  2. 让电脑疯狂的生成大量该模型的图片(近景,面部特写)。
  3. 你自己判断和选出很像的图片 💡 (重要)。
  4. 把这些图片给DFL作为素材使用。

是的,既然人工智能无法保障面部特征和细微表情,人可以自己判断。
这样一来,缺失但重要的一环就补上了。

这就是取长补短吧——真正实现了所谓人工智能:你来负责人工,计算机负责智能。🤪
玩笑归玩笑,也许有一天AI能真的知道,照片到底像不像人。


快去翻翻老照片,看看祖爷爷/祖奶奶照片够不够训练一个模型。
也许真能让他们生动的出现在视频中。


需要放图么?这里没有例图,也不需要示意图和结构图吧。
😜Happy Creating……

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值