在ComfyUI中用LoRA换脸，实现超高相似度

首先，确保您拥有一个已经训练好的LoRA。如果你不知道如何训练LoRA，可以看看我之前的文章。

👉 如何训练一个非常像的真人LoRA

这个LoRA可以仅使用被训练人物的大头照。我们的目标是使用LoRA生成与被训练人物高度相似的脸部，然后将其换到任何身体上，实现真正意义上的AI摄影。

安装必要的自定义节点

在开始之前，需要安装两个关键的自定义节点：

1️⃣进入ComfyUI，打开ComfyUI管理器。

2️⃣点击“安装自定义节点”的按钮。

 

3️⃣搜索“efficiency”并安装“Efficiency Nodes”。

 

4️⃣继续搜索“impact pack”并下载“ComfyUI Impact Pack”。

 

5️⃣安装完毕后，重启ComfyUI以确保所有节点正确加载。

# 搭建基础工作流

设置工作流

1️⃣双击打开搜索栏，输入“eff.”，找到并点击“Eff. Loader SDXL”。此节点整合了加载Checkpoint、VAE、提示词、设置图片尺寸等功能。

 

 

2️⃣再次打开搜索栏，输入“eff.”，选择“KSampler SDXL”作为采样器。

 

3️⃣将这两个节点相连，并正确设置Checkpoint和提示词。

 

运行并测试图像

4️⃣现在，运行工作流并检查生成的图像，确保没有问题。

 

# 添加换脸模块

面部检测与分割

1️⃣双击打开搜索栏，输入“ultra”，选择“UltralysticsDetectorProvider”。它提供了一系列检测面部，手部，人体的模型。然后选择模型名称“bbox/face_yolov8m”进行面部检测。它用方形边界框来检测面部，比下面这几个检测面部的模型体积更大一些，因此效果更好一些。Bbox就是方形边界框"bounding box"的缩写。

2️⃣接下来，添加图像分割节点。打开搜索框，输入“samloader”，选择“SAMLoader”。这个"sam"就是"Segment Anything"的缩写，在WebUI里也有这个插件。它是Facebook的母公司Meta开发出来的图像分割的模型。接着选择模型名称包含字母“h”的模型。它是里面体积最大的，因此效果更好一些。

 

实现换脸

模型都准备好了，接下来还需要一个具体执行换脸的节点。

3️⃣搜索并添加“FaceDetailer”节点，类似于WebUI中的Adetailer。

 

4️⃣有了这3个节点还不够，因为我们还需要让这个"FaceDetailer"可以使用单独的模型以及提示词。还需要它可以使用我们训练好的LoRA进行换脸。所以，我们再添加一个支持SD1.5的效率加载器。

 

5️⃣我们需要对SDXL模型生成的图像进行换脸。所以采样器的图像输出端应该连上"FaceDetailer"的图像输入端。因为我们要"FaceDetailer"使用单独的模型，所以把效率加载器上的模型输出端连上"FaceDetailer"的输入端。下面的端口我们也连一下。然后把这两个处理面部的节点也连接一下。

 

设置并预览

6️⃣配置“FaceDetailer”所需的模型、LoRA和提示词。

 

7️⃣在“FaceDetailer”的输出端添加一个预览图像节点。

8️⃣添加一个“把蒙版转化为图像”的节点，连接相应的“mask”端口。

9️⃣添加另一个预览图像节点以便预览处理好的面部蒙版。

 

🔟在SDXL的采样器图像输出端也添加一个预览图像节点，以便比较换脸前后的效果。

 

接着再点击"添加提示词队列"按钮，稍等一会儿图片就出来了。

 

调整与优化

• 如果换脸效果存在问题，可调整“FaceDetailer”的参数，如增大“feather”以减少接缝，或调整“bbox_crop_factor”以增大裁剪区域。

如何训练LorA

对于很多刚学习AI绘画的小伙伴而言，想要提升、学习新技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料，这份网易的《Stable Diffusion LoRA模型训练指南》电子书，尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

由于内容过多，下面以截图展示目录及部分内容，完整文档领取方式点击下方微信卡片，即可免费获取！

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的卡片进行领取！