stable diffusion InstantID插件 面部特征一致性风格保持与迁移(附插件模型)

InstantID 介绍

Instant ID 是一个创新的无需调整的风格保持和迁移方法,能够结合了 ControlNet 和 IP-Adapter 来控制扩散过程中的面部特征的风格迁移。Instant ID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet,而非使用常规方法:ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示:

图片

Instant ID 插件安装

Instant ID安装需要升级对应的sd-webui-controlnet插件,对应版本不低于v1.1.438。

已打包整理,扫描下方,免费获取
在这里插入图片描述

下载下来直接放到stable-diffusion-webui\extensions目录,目录名为sd-webui-controlnet

模型下载

下载对应模型,并将其放置在stable-diffusion-webui/models/ControlNet目录下。同时需要将模型重命名为ip-adapter_instant_id_sdxl.bincontrol_instant_id_sdxl.safetensors,以便插件能够正确识别这两个模型

在这里插入图片描述

Instant ID 使用

在SD-WebUI 中使用InstantID插件需要设置两个模型。并且,需要牢记:应该始终将 ipadapter 模型始终设置为第一个模型,因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

Unit 0 设置

在 ControlNet 单元之前,必须设置 ip-adapter单元。IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。

图片

Unit 1 设置

ControlNet 单元接受包含面部5个关键点的关键点图,因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点,也可以不使用同一张面部图像作为输入。

图片

另外,在官方文档中建议:将 CFG 设置为 4~5 以获得最佳结果。同时也提到,根据采样方法和基础模型这个数字可能会有所不同,但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到,如果将宽度x高度设置为1024*1024,那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。

效果

大致的风格是有了,我电脑比较不行参数调低了,画面比较模糊。

图片

参数

woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman,
,(masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2),
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 272102459, Size: 512x750, Model hash: 573f4a7d35, Model: leosamsHelloworldXL_helloworldXL70, ControlNet 0: "Module: instant_id_face_embedding, Model: ip-adapter_instant_id_sdxl [eb2d3ec0], Weight: 1.0, Resize Mode: Crop and Resize, Processor Res: 512, Threshold A: 0.5, Threshold B: 0.5, Guidance Start: 0.0, Guidance End: 1.0, Pixel Perfect: True, Control Mode: Balanced", ControlNet 1: "Module: instant_id_face_keypoints, Model: control_instant_id_sdxl [c5c25a50], Weight: 1.0, Resize Mode: Crop and Resize, Processor Res: 512, Threshold A: 0.5, Threshold B: 0.5, Guidance Start: 0.0, Guidance End: 1.0, Pixel Perfect: True, Control Mode: Balanced", Version: 1.9.4

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

  • 18
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值