前言
最近发现一个很不错的sdwebui的插件,不仅能完成图片换脸,还能进行视频换脸,而且效果比之前的 faceid和reactor要好很多,更像更高清,哈哈,废话不多说,直接上干货~
插件是 easyPhoto,实测效果很不错,
插件介绍
EasyPhoto生成采用基于开源模型StableDiffusion + 人物定制Lora的方式 + ControlNet 的方式完成艺术照生成
- 1、使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分
- 身进行模板替换。
- 2、采用FaceID模型挑选用户输入的最佳ID Photo和模板照片进行人脸融
- 合(face fusion)。
- 3、使用融合后的图片作为基底图片,使用替换后的人脸作为control条件,加上数
- 字分身对应的Lora,进行图到图局部重绘生成。
- 4、采用基于StableDiffusion + 超分的方式进一步在保持ID的前提下生成高清
- 结果图。
想了解具体技术细节的可以去git上看一下,这里主要是实战,哈哈~
插件安装
我用的 秋叶大神的 sd 集成包,安装直接如下 ,速度很快,哈哈
如图在版本管理中,选择【安装新扩展】,然后最下边输入 easyPhoto的git链接,然后点击安装,很快就会安装完成,安装完成会在列表中 有 easyPhoto,然后启动sdwebui可以看到如下
这就说明安装成功了,哈哈
好了接下来是使用
**训练lora人脸模型
**
简单说,easyPhoto是基于lora来固定人脸的,具体技术细节可以去看 文末的git地址,通过5-8张同一个人的不同脸部图片即可训练,如下图
点击 【upload photos】选择提前准备好的图片,我这选了8张,点击【start training】会弹出 userid ,需要写一个uerid,但是不能为中文,切记,否则报错,点击确定就开始训练了,第一启动会下载很多依赖模型,需要的等一会,不过不需要梯子,很快,哈哈
这边的参数,简单说一下,我一般使用模型,除了模型,哈哈
训练完成 会存储模型在 sd-webui-aki-v4.5\outputs\easyphoto-user-id-infos 文件夹下,文件名字就是你上边写的 userid,
使用模型
模型的使用场景很丰富,
1、Photo2Photo可以理解图生图换脸
给莫妮卡来张证件照
它还可以同时给两个人换脸,从左到右分别是user0id,user1id的脸
这就是换完的,哈哈
2、text2Photo,文生图,这部分大家自己试试吧
3、video2video这个是给视频换脸,最近我一直用这个做 抖音视频,哈哈
这个要注意 选择mp4,还有你的视频的长度,8真1s,如果你视频是10s,那就【Video Max num of frames】输入80,选择对应人脸lora开始 合成,看看我的效果
原视频
,时长00:13
换脸视频
,时长00:09
获取方式
我都给大家整理好了,有需要可以扫描下方二维码,免费获取