stable diffusion InstantID插件面部特征一致性风格保持与迁移

最新推荐文章于 2025-05-20 22:43:11 发布

stablediffusion知识库

最新推荐文章于 2025-05-20 22:43:11 发布

阅读量1k

点赞数 18

文章标签： stable diffusion AIGC AI作画 midjourney

本文链接：https://blog.csdn.net/yihanss/article/details/143229969

版权

InstantID 介绍

Instant ID 是一个创新的无需调整的风格保持和迁移方法，能够结合了 ControlNet 和 IP-Adapter
来控制扩散过程中的面部特征的风格迁移。InstantID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNetunet，而非使用常规方法：ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示：

Instant ID 插件安装

Instant ID安装需要升级对应的sd-webui-controlnet插件，对应版本不低于v1.1.438。

Github仓库地址：https://github.com/Mikubill/sd-webui-controlnet

下载下来直接放到stable-diffusion-webui\extensions目录，目录名为sd-webui-controlnet

模型下载

下载对应模型，并将其放置在stable-diffusion-webui/models/ControlNet目录下。同时需要将模型重命名为ip- adapter_instant_id_sdxl.bin和control_instant_id_sdxl.safetensors，以便插件能够正确识别这两个模型

IP-Adapter模型：https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
ControlNet 模型：https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true

Instant ID 使用

在SD-WebUI 中使用InstantID插件需要设置两个模型。并且，需要牢记：应该始终将 ipadapter 模型始终设置为第一个模型，因为
ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

Unit 0 设置

在 ControlNet 单元之前，必须设置 ip-adapter单元。IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet
单元的输入之一。

Unit 1 设置

ControlNet 单元接受包含面部5个关键点的关键点图，因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit
0中相同的人物的面部关键点，也可以不使用同一张面部图像作为输入。

另外，在官方文档中建议：将 CFG 设置为 4~5 以获得最佳结果。同时也提到，根据采样方法和基础模型这个数字可能会有所不同，但通常需要使用的 CFG
比例略低于正常的
CFG。同时还提到，如果将宽度x高度设置为1024*1024，那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度
x 高度值来避免这个问题。

效果

大致的风格是有了，我电脑比较不行参数调低了，画面比较模糊。

参数

woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue
eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare
arms, A Beautiful Chinese Woman,
,(masterpiece:1.2), best quality, masterpiece, highres, original, extremely
detailed wallpaper, perfect lighting,(extremely detailed CG:1.2),
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2),
lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin
blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21),
(mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5),
blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs,
(disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused
fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers,
bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra
arms and legs))),
Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed:
272102459, Size: 512x750, Model hash: 573f4a7d35, Model:
leosamsHelloworldXL_helloworldXL70, ControlNet 0: “Module:
instant_id_face_embedding, Model: ip-adapter_instant_id_sdxl [eb2d3ec0],
Weight: 1.0, Resize Mode: Crop and Resize, Processor Res: 512, Threshold A:
0.5, Threshold B: 0.5, Guidance Start: 0.0, Guidance End: 1.0, Pixel Perfect:
True, Control Mode: Balanced”, ControlNet 1: “Module:
instant_id_face_keypoints, Model: control_instant_id_sdxl [c5c25a50], Weight:
1.0, Resize Mode: Crop and Resize, Processor Res: 512, Threshold A: 0.5,
Threshold B: 0.5, Guidance Start: 0.0, Guidance End: 1.0, Pixel Perfect: True,
Control Mode: Balanced”, Version: 1.9.4

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。