准备工作
首先,确保您拥有一个已经训练好的LoRA。,可以看看我之前的文章。
这个LoRA可以仅使用被训练人物的大头照。我们的目标是使用LoRA生成与被训练人物高度相似的脸部,然后将其换到任何身体上,实现真正意义上的AI摄影。
安装必要的自定义节点
在开始之前,需要安装两个关键的自定义节点:
1️⃣进入ComfyUI,打开ComfyUI管理器。
2️⃣点击“安装自定义节点”的按钮。
3️⃣搜索“efficiency”并安装“Efficiency Nodes”。
4️⃣继续搜索“impact pack”并下载“ComfyUI Impact Pack”。
5️⃣安装完毕后,重启ComfyUI以确保所有节点正确加载。
搭建基础工作流
设置工作流
1️⃣双击打开搜索栏,输入“eff.”,找到并点击“Eff. Loader SDXL”。此节点整合了加载Checkpoint、VAE、提示词、设置图片尺寸等功能。
2️⃣再次打开搜索栏,输入“eff.”,选择“KSampler SDXL”作为采样器。
3️⃣将这两个节点相连,并正确设置Checkpoint和提示词。
运行并测试图像
4️⃣现在,运行工作流并检查生成的图像,确保没有问题。
添加换脸模块
面部检测与分割
1️⃣双击打开搜索栏,输入“ultra”,选择“UltralysticsDetectorProvider”。它提供了一系列检测面部,手部,人体的模型。然后选择模型名称“bbox/face_yolov8m”进行面部检测。它用方形边界框来检测面部,比下面这几个检测面部的模型体积更大一些,因此效果更好一些。Bbox就是方形边界框"bounding box"的缩写。
2️⃣接下来,添加图像分割节点。打开搜索框,输入“samloader”,选择“SAMLoader”。这个"sam"就是"Segment Anything"的缩写,在WebUI里也有这个插件。它是Facebook的母公司Meta开发出来的图像分割的模型。接着选择模型名称包含字母“h”的模型。它是里面体积最大的,因此效果更好一些。
实现换脸
模型都准备好了,接下来还需要一个具体执行换脸的节点。
3️⃣搜索并添加“FaceDetailer”节点,类似于WebUI中的Adetailer。
4️⃣有了这3个节点还不够,因为我们还需要让这个"FaceDetailer"可以使用单独的模型以及提示词。还需要它可以使用我们训练好的LoRA进行换脸。所以,我们再添加一个支持SD1.5的效率加载器。
5️⃣我们需要对SDXL模型生成的图像进行换脸。所以采样器的图像输出端应该连上"FaceDetailer"的图像输入端。因为我们要"FaceDetailer"使用单独的模型,所以把效率加载器上的模型输出端连上"FaceDetailer"的输入端。下面的端口我们也连一下。然后把这两个处理面部的节点也连接一下。
设置并预览
6️⃣配置“FaceDetailer”所需的模型、LoRA和提示词。
7️⃣在“FaceDetailer”的输出端添加一个预览图像节点。
8️⃣添加一个“把蒙版转化为图像”的节点,连接相应的“mask”端口。
9️⃣添加另一个预览图像节点以便预览处理好的面部蒙版。
🔟在SDXL的采样器图像输出端也添加一个预览图像节点,以便比较换脸前后的效果。
接着再点击"添加提示词队列"按钮,稍等一会儿图片就出来了。
调整与优化
- 如果换脸效果存在问题,可调整“FaceDetailer”的参数,如增大“feather”以减少接缝,或调整“bbox_crop_factor”以增大裁剪区域。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版添加下方免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,详细版添加下方免费领取!!!