SD必备知识：PuLID面部特征一致性风格保持与迁移，轻松搞定私人写真摄影

爱绘画的彤姐

于 2025-05-29 14:03:29 发布

阅读量654

点赞数 21

本文链接：https://blog.csdn.net/A2421417624/article/details/148309069

版权

随着文生图模型的日益成熟，图像身份特征的一致性迁移与风格多样化成为绘图领域的重要需求。为此，业界涌现出众多专注于特征保持和迁移的技术模型。本文将重点评测字节跳动与某书开源的三大主流技术方案：PuLID、IP-Adapter以及InstantId。

该模型是一款可出图商用的写实摄影模型。该模型在人物写实真实度方面有着优秀的图像质量，以及优秀的光影视觉冲击，丰富且富有感染力的情绪表达，不论是在影棚的时尚大片、真实感的户外摄影、自然的手机随拍、或是艺术写真方面均有不错的绘图表现。

PuLID模型简介

PuLID是最新字节开源的，因此本文主要介绍PuLID在SD-WebUI中安装指南。关于IP- Adapter以及InstantId请参考社区介绍。

PuLID是一种类似于ip-adapter的方法，用于保持面部身份特征和风格迁移模型
。PuLID同时使用了insightface嵌入和CLIP嵌入，这与ip-adapter faceid plus模型的做法类似。不过，在将图像传递给CLIP之前，PuLID会使用facexlib进行额外的步骤，即将面部从背景环境中遮罩出来。PuLID还使用了Eva CLIP代替了普通的CLIP。在attn overrides方面，PuLID也做了一些比IPAdapter做了更多的事情，比如它对张量进行了零填充，并添加到隐藏状态的正交性中。更多PuLID介绍参考之前文章：字节PuLID：高效身份ID特征定制，ComfyUI使用指南、字节PuLID：高效身份ID特征定制新方法，无需复杂微调仅一张图实现

PuLID安装指南

01. 安装`sd-webui-controlnet-evaclip`扩展

PuLID使用了evaclip嵌入和insightface嵌入作为proj模块输入。因此，为了使用这个特性，需要安装sd-webui- controlnet-evaclip插件，插件地址为：https://github.com/huchenlei/sd-webui-controlnet-
evaclip。

02. 模型下载

同时需要下载对应模型并放置在目录stable-diffusion- webui/models/ControlNet下，可以在线下载：https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-
adapter_pulid_sdxl_fp16.safetensors。

在这里需要注意facexlib 和evaclip
涉及的对应模型会首次运行时候自动下载。但在笔者测试中并未自动下载，经过调试插件代码和手动下载解决。

• 需要下载模型detection_Resnet50_Final.pth 、parsing_parsenet.pth 、parsing_bisenet.pth 、并放置在目录 /stable-diffusion-webui/models/GFPGAN/ 下，下载地址为：https://huggingface.co/damaimai/parsing_parsenet.pth/tree/main
• 原则上这会利用huggingface包自动下载，不用急着手动下载，在上面问题解决后可以再次运行查看是否自动下载。模型为：QuanSun/EVA-CLIP 放置 /stable-diffusion-webui/extensions/sd-webui-controlnet-evaclip/models ，需要使用huggingface_cli下载整个repo：https://huggingface.co/QuanSun/EVA-CLIP/tree/main

03. ControlNet单元设置

在ControlNet中需要设置一个额外的单选组选择PuLID模式，请注意升级ControlNet插件版本（请确保版本 >=1.449）。

04. PuLID体验

绘图配置

• 绘图模型：****墨幽人造人XL模型
• 迭代步数：30步
• 采样器：DPM++ 2M Karras
• CFG scale: 7

01. Fidelity风格效果

02. Style风格效果

在两种模式之间仅存在微笑差别 ，笔者并未看出明显差异。

02. 多输入图像

SDWebUI配置

输出效果

注意：与InstantId相比，PuLID需要设置更强的提示才能使输出风格化。

多风格迁移模型评比

绘图配置和提示语等设置同上一小节，这里不在累述。

IP-Adapter配置

提示语中增加ip-adapter-faceid LoRA触发词：

IPA插件配置：

InstantId配置

InstantId插件则需要设置两个CN单元配置启用，并且请确保单元配置顺序：

CN单元0配置：

CN单元1配置：

输出效果对比

在这里插入图片描述

从从上面两组对比图中，能够显著看出面部特征保持ip-adapter 是最弱的，PuLId 和InstantId
都是保持一致性比较好的，但是能够明显看出InstantId 的风格更偏全景艺术风，而PuLId
是面部特征更偏向输入图像，这导致也会受输入图的清晰度影响输出效果。但InstantId 还存在问题是需要的显存资源较大。ip-adapter
是不仅面识特征保持别更重要是作为特征提取重要基础设施应用广泛。因此，评估效果各有优势，各视场景选择格式技术框架是最优方案。

另外，因为PuLId 使用了facexlib和eva clip，其资源利用效率不是很高。同时由于采用了正交计算，PuLId
在推理过程中比普通的ip-adapter 会慢不少。可能这也是官方演示时使用SDXL lightning的原因。