AI绘画stable diffusion 面部特征一致性保持与迁移，轻松搞定私人写真摄影，SDWebUI使用指南

最新推荐文章于 2025-03-06 14:50:46 发布

程序员小何SS

最新推荐文章于 2025-03-06 14:50:46 发布

阅读量1k

点赞数 11

本文链接：https://blog.csdn.net/xiaokangss/article/details/142845948

版权

IPAdapterFaceID面部特征一致性风格保持与迁移

最近经常有同学问到关于风格迁移IPAdapter、Instant ID等安装和使用方法，内容虽基础但也属常用工具。因此今天的文章核心将带大家介绍**SDXL FaceID Plus v2 **在SD-WebUI中使用指南

IP-Adapter-FaceID简介

IP-Adapter
是一种有效且轻量级的适配器，可以被用于实现预训练的文本到图像扩散模型的图像提示功能。IP-
Adapter 的关键设计是解耦的交叉注意力机制，能夠将文本特征和图像特征的交叉注意力层分离。试验结果表明，在仅有2200万参数的IP-
Adapter 能够实现与微调后的图像提示模型相当甚至更好的性能。由于IP-Adapter
采用的是冻结预训练的扩散模型，因此IP-
Adapter
不仅可以泛化到从同一基础模型微调的其他自定义模型，还可以使用现有的可控工具实现可控生成。得益于解耦的交叉注意力策略，图像提示还可以与文本提示很好地配合，用来完成多模态图像生成。

IP-Adapter 采用架构方法如下图所示。其中图像提示适配器旨在使预训练的文本到图像扩散模型能够通过图像提示生成图像。IP-
Adapter
是由两部分组成：一个图像编码器，用于从图像提示中提取图像特征，以及具有解耦交叉注意力的适配模块，用于将图像特征嵌入到预训练的文本到图像扩散模型中。

IP-Adapter FaceID
则提供了一种从图像中提取面部特征并应用到生成图像的方法。采用了使用来自面部识别模型的面部ID嵌入代替CLIP图像嵌入，此外还使用LoRA来提高身份一致性。IP-
Adapter-FaceID 可以根据仅有的文本提示生成具有特定面部特征的各种风格图像。

IP-Adapter-FaceID安装

最新的sd-webui-controlnet 插件已支持IP-Adapter-FaceID 的使用，请确保升级到最新版本。

FaceID 使用依赖了insightface ，因此请确保已正确安装此依赖组件，pip install insightface -U。

模型下载

下表显示了每种FaceID IPAdapte 模型使用权重文件和预处理器的组合方式，请确保正确选择。另外，建议在绘图时加载相应的LoRA权重设置为
0.5 ~ 0.7 。下载地址为：https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

SD-WebUI设置

01. 使用IP-Adapter 对应LoRA

02. 配置 ControlNet

请确保选择的预处理器和模型正确匹配。

注意：IP-Adapter FaceID 目前的实现只会提取特征从图像中检测到的第一个面部。

IP-Adapter-FaceID体验

本小节中使用绘图配置 为：

• 绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版
• 迭代步数：30
• CFG：7

• 分辨率：720*1280

- 本文使用到模型下载地址
• 写实-摄影模型 - AiARTiST UNIT XL 基础单元 CADS2兼容版 ：
• 风格化-动漫模型 - Dream Anime XL | 筑梦动漫XL模型 ：
• 筑梦工业 | 港风胶片XL LoRA模型：
- • add-detail-xl LoRA模型 ：
• DetailedEyes_XL LoRA模型 ：

01. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, brown hair, brown eyes, looking at viewer, long hair, black background, simple background, upper body, lips, sleeveless, bangs, from side, shirt, nose, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

02. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, looking at viewer, armpits, brown eyes, lips, long hair, black hair, cross hands, smile, simple background, ponytail, camisole, brown hair, closed mouth, upper body, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

03. 国风水彩

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou, Craft an epic odyssey of imagination on the canvas of your choice. Let your artistic intuition guide you through realms unknown,where reality and reverie entwine. Picture a fusion of vibrant colors,fluid lines,and intricate details,encapsulating the boundless essence of an open mind. Go beyond limits,conjuring a visual testament to the inexhaustible wellspring of creativity within you.,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>


  * 1

04. 蓝色丝绸

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou，Masterpiece, (ultra wide angle lens: 1.2), Unity8k wallpaper, best quality, (detail shadow: 1.1), a beautiful girl, on a sea of light blue silk, translucent silk, floating light blue silk, surrealist style, minimalism, highly detailed texture, light blue, white clean background, CG rendering, light passing through clouds, 8k resolution, (motion photo: 1.2), (Fidelity: 1.4), original photos, movie lighting,,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>


  * 1

05. 香港风动漫-街景

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>


  * 1

06. 香港风动漫-酒吧

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>


  * 1

通过上面演示案例，可以看出IP-Adapter-FaceID
可以面部特征的保持和风格迁移，但是和实际输入人物图像一致性强度并不足够。不过，IP-Adapter
作为基础可以实现的不止风格一致。请期待下一节一致性强度更强的Instant ID文章介绍，参见下图示例：

资料软件免费放送

次日同一发放请耐心等待

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。