【comfyUI教程】”垫图神器“IPAdapter重大更新,新版本功能使用,效果还原指南

目录

历史导航:

让旧工作流重新工作起来

核心应用节点调整(IPAdapter Apply)

批量图片加载调整(Emcode IPAdapter Image)

新版本主要特性介绍

合并模型加载节点(IPAdapter Unified Loader)

IPadapter应用高级节点(IPAdapter Advanced)

新输入

新配置参数

图片编码节点(IPAdapter Encoder)


历史导航:

IpAdapter使用(上、基础使用和细节)

IpAdapter使用((中、进阶使用和技巧)

前不久刚做了关于IPAdapter的使用和技巧介绍,这两天IPAdapter_plus的插件作者就发布了重大更新,代码重构、节点优化、新功能上线,并且不支持老的节点使用!本文带大家快速上手新节点并介绍版本差异。

让旧工作流重新工作起来

由于本次更新有节点被废弃,虽然迁移很方便。但出图效果可能发生变化,如果你没有时间调整请务必不要升级IPAdapter_plus!

核心应用节点调整(IPAdapter Apply

本次更新废弃了以前的核心节点IPAdapter Apply节点,但是我们可以用IPAdapter Advanced节点进行替换。

可以看到新节点缺少了noise配置选项,调整了weight_type选项的内容,增加了combind_embeds和embeds_scaling 配置选项,输入中增加了image_negative。

如果我们想要尽可能接近上一版本节点的效果

  1. weight type使用linear

  2. combind_embeds和embeds_scaling 配置选项不用动

  3. noise可以使用以下单独的节点去配置,强度按照之前的设置,类型选择shuffle连接到image_negative上

以前的工作流和现在的工作流效果对比

以前的工作流:

现在的工作流:

批量图片加载调整(Emcode IPAdapter Image

在以前我们想要批量加载图片并调整每个图片的权重需要使用如下节点完成

这个老节点虽然还存在但已不能使用,添加多个图片不能修改权重!

老版本工作流现状:

在新版本中没有直接的批量添加图片,而是拆分成了一个个单独的转换接口便于我们更细致的控制图片的识别内容和连接方式,

新版本使用此方式来转换:

注意老版本节点上还可以添加噪音强度,我们可以用以下流程替代:

将图片批量合并后再制造噪声传到negative

最后我们也可获得和原来版本相似的结果:

新版本主要特性介绍

合并模型加载节点(IPAdapter Unified Loader)

新版本提供了统一的模型加载节点

也就是说我们以前需要IPAdapter模型加载器,clip_version模型加载器,现在直接二合一了。

(Face ID相关模型加载要安装insightface)

注意点:

  • 当需要多个不同的IPAdapter模型时,可以将不同的IPAdapter加载器首尾相连,这样重复的模型不会重复加载,但若是单独使用此节点或者是长链的第一个节点,则IPAdapter输入必须为空!

  • 此加载器会自动加载所有模型,前提是你的模型名字和官方名字一样,不然是找不到的!

各个官方模型名称如下:

clip_vision模型:

  • CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors

  • CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors

ip-adapter模型:

  • ip-adapter_sd15.safetensors,基本模型,平均强度

  • ip-adapter_sd15_light_v11.bin,轻型影响模型

  • ip-adapter-plus_sd15.safetensors,Plus 模型,非常强大

  • ip-adapter-plus-face_sd15.safetensors,脸部模型,肖像

  • ip-adapter-full-face_sd15.safetensors,更强的人脸模型,不一定更好

  • ip-adapter_sd15_vit-G.safetensors,基础模型,需要 bigG 剪辑视觉编码器

  • ip-adapter_sdxl_vit-h.safetensors,SDXL 模型

  • ip-adapter-plus_sdxl_vit-h.safetensors,SDXL plus 型号

  • ip-adapter-plus-face_sdxl_vit-h.safetensors,SDXL 人脸模型

  • ip-adapter_sdxl.safetensors,vit-G SDXL 模型,需要 bigG 剪辑视觉编码器

  • 已弃用 ip-adapter_sd15_light.safetensors,v1.0 轻型影响模型

IPadapter应用高级节点(IPAdapter Advanced)

新输入
  • image_negative,非必填参数,用于生成负条件的图像。可以发送噪声或实际上任何图像来指示模型我们不希望在合成中看到什么。

前面提到过在新版本中添加噪声是通过image_negative实现的,实际上正如名字一样,任何图片都可以作为反向提示使用,而不仅仅是添加了噪声的原图。如下图将普通的漫画图片作为反向提示输入后,生成图片会更偏向真人。

配置参数
  • Weight,IPAdapter 模型的权重。对于linear 类型(默认值,也是唯一老版本保留的类型),从 0.8开始一般效果比较好。如果使用其他类型,您可以尝试更高的值。

  • Weight_type,这就是 IPAdapter 应用于 UNet 块的方式。例如ease-in,意味着输入块的权重高于输出块的权重。week input意味着整个输入块的权重较低。style transfer (SDXL)仅适用于 SDXL,它是一个非常强大的工具,只能传输图像的风格,但不能传输其内容。该参数可以提升文字提示的效果。

  • merge_embeds,当发送多个参考图像时,提示图像可以一个接一个地发送 ( concat最接近旧版本效果) 或以各种方式组合。average类型可以减轻 GPU 压力。subtract将第二张图像的条件减去第一张图像的条件;如果有 3 个或更多图像,则对它们进行平均再减去第一个图像。

  • embeds_scaling,IPAdapter 模型应用于 K,V 的方式。该参数对模型对文本提示的反应影响不大。K+mean(V) w/ C penalty在高权重 (>1.0) 下提供良好的质量,而不会烧坏图像。

图片编码节点(IPAdapter Encoder)

这个图片编码节点新增了mask遮罩,我们可以避免图片不要的元素对图片造成影响

如图如果不使用mask进行涂抹,即使美女图我们针对性的使用了PLUS FACE模型,可是西方人的脸明显还是传递到了最后生成的图片上。

但当我加上遮罩后,效果明显好很多:

下一篇我将讲解新IPAdapter的进阶应用:

  1. 不同权重类型的效果区别

  2. 不同嵌入组合的效果区别

  3. 剑走偏锋的使用技巧

查看我的公众号,还有更多教程和资讯分享!本文所有工作流和官方示例也放到了上面,回复“新IPAdapter”即可获得!

                                                                                                                  ——因为热爱的AI漫谈社

  • 43
    点赞
  • 50
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值