SD必备知识系列一：IPAdapterFaceID面部特征一致性保持与迁移，轻松搞定私人写真摄影，SDWebUI使用指南

IPAdapterFaceID面部特征一致性风格保持与迁移

在交流群众偶有同学问到关于风格迁移IPA、Instant ID等安装和使用方法，内容虽基础但也属常用工具。故想有这个系列文章以记录。本文核心介绍SDXL FaceID Plus v2 在SD-WebUI中使用指南，以及配合来自 **哩布**平台**AiARTiST UNIT XL 基础单元 CADS2兼容版模型使用和体验。

AiARTiST UNIT XL 基础单元 CADS2兼容版是一款来自哩布平台作者AiARTiSTl齐计山东的具有极强的泛化和理解能力的通用大模型，具有优秀的色彩和饱和度图像质量。

IP-Adapter-FaceID简介

IP-Adapter是一种有效且轻量级的适配器，可以被用于实现预训练的文本到图像扩散模型的图像提示功能。IP-Adapter的关键设计是解耦的交叉注意力机制，能夠将文本特征和图像特征的交叉注意力层分离。试验结果表明，在仅有2200万参数的IP-Adapter能够实现与微调后的图像提示模型相当甚至更好的性能。由于IP-Adapter采用的是冻结预训练的扩散模型，因此IP-Adapter不仅可以泛化到从同一基础模型微调的其他自定义模型，还可以使用现有的可控工具实现可控生成。得益于解耦的交叉注意力策略，图像提示还可以与文本提示很好地配合，用来完成多模态图像生成。

IP-Adapter采用架构方法如下图所示。其中图像提示适配器旨在使预训练的文本到图像扩散模型能够通过图像提示生成图像。IP-Adapter是由两部分组成：一个图像编码器，用于从图像提示中提取图像特征，以及具有解耦交叉注意力的适配模块，用于将图像特征嵌入到预训练的文本到图像扩散模型中。

IP-Adapter FaceID 则提供了一种从图像中提取面部特征并应用到生成图像的方法。采用了使用来自面部识别模型的面部ID嵌入代替CLIP图像嵌入，此外还使用LoRA来提高身份一致性。IP-Adapter-FaceID可以根据仅有的文本提示生成具有特定面部特征的各种风格图像。

IP-Adapter-FaceID安装

最新的sd-webui-controlnet 插件已支持IP-Adapter-FaceID的使用，请确保升级到最新版本。插件地址：https://github.com/Mikubill/sd-webui-controlnet。

FaceID 使用依赖了insightface，因此请确保已正确安装此依赖组件，pip install insightface -U。

模型下载

下表显示了每种FaceID IPAdapte模型使用权重文件和预处理器的组合方式，请确保正确选择。另外，建议在绘图时加载相应的LoRA权重设置为 0.5 ~ 0.7。下载地址为：https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

SD-WebUI设置

01. 使用IP-Adapter对应LoRA

02. 配置 ControlNet

请确保选择的预处理器和模型正确匹配。

注意：IP-Adapter FaceID 目前的实现只会提取特征从图像中检测到的第一个面部。

IP-Adapter-FaceID体验

本小节中使用绘图配置为：

• • 绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

• • 迭代步数：30

• • CFG：7

  • 分辨率：720*1280

• 本文使用到模型下载地址（AIGC绘图问题可文末加群交流）：

• • 写实-摄影模型 - AiARTiST UNIT XL 基础单元 CADS2兼容版：https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee

• • 风格化-动漫模型 - Dream Anime XL | 筑梦动漫XL模型：https://www.liblib.art/modelinfo/7d1e1851c72448e586b0d7fb29c51e53

• • 筑梦工业 | 港风胶片XL LoRA模型：https://www.liblib.art/modelinfo/985918864a4c46de8e2c5bb984ee0ab1

• • add-detail-xl LoRA模型：https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa

• • DetailedEyes_XL LoRA模型：https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53

01. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, brown hair, brown eyes, looking at viewer, long hair, black background, simple background, upper body, lips, sleeveless, bangs, from side, shirt, nose, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 

02. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, looking at viewer, armpits, brown eyes, lips, long hair, black hair, cross hands, smile, simple background, ponytail, camisole, brown hair, closed mouth, upper body, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 

03. 国风水彩

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou, Craft an epic odyssey of imagination on the canvas of your choice. Let your artistic intuition guide you through realms unknown,where reality and reverie entwine. Picture a fusion of vibrant colors,fluid lines,and intricate details,encapsulating the boundless essence of an open mind. Go beyond limits,conjuring a visual testament to the inexhaustible wellspring of creativity within you.,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>

04. 蓝色丝绸

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou，Masterpiece, (ultra wide angle lens: 1.2), Unity8k wallpaper, best quality, (detail shadow: 1.1), a beautiful girl, on a sea of light blue silk, translucent silk, floating light blue silk, surrealist style, minimalism, highly detailed texture, light blue, white clean background, CG rendering, light passing through clouds, 8k resolution, (motion photo: 1.2), (Fidelity: 1.4), original photos, movie lighting,,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>

05. 香港风动漫-街景

绘图模型：*Dream Anime XL | 筑梦动漫XL模型*

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

06. 香港风动漫-酒吧

绘图模型：*Dream Anime XL | 筑梦动漫XL模型*

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

通过上面演示案例，可以看出IP-Adapter-FaceID可以面部特征的保持和风格迁移，但是和实际输入人物图像一致性强度并不足够。不过，IP-Adapter作为基础可以实现的不止风格一致。请期待下一节一致性强度更强的Instant ID文章介绍，参见下图示例：

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】