Comfy UI最新IP Adapter Plus 保持人物一致性!SD场景与服装可控!

IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。

最近,ComfyUI IP Adapter Plus 的开发者 @cubiq 对该插件进行了彻底的重写和升级。新版插件在节点搭建和模型读取方面变得更为简洁和便捷,同时新增了更多的功能支持。特别值得一提的是,IP Adapter Plus 现在支持独立的风格迁移、构图迁移以及这两者的结合,使我们能够更精确地控制图像生成的效果。

通过新版 IP Adapter Plus 插件,我们可以分别学习梵高的风格和蒙娜丽莎的构图。然而,由于这次更新,之前所有包含 IP Adapter Plus 的工作流都已不再兼容,需要使用新的节点重新搭建。接下来,我将为大家详细介绍新版插件的安装和使用方法。

一、插件安装

Github 主页:

https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件更新介绍)

  1. 在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。

  2. 插件可以通过 Manager 安装,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。

二、安装基础模型

在 GitHub 主页上,对需要安装的模型进行了详细的描述。下载后,按照要求将模型安装到指定的路径。在安装过程中需要注意以下几点:

  1. 安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内;

  2. 如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个;

  3. models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;

  4. 文末网盘链接内有对应的模型资源,可以直接下载使用。

三、安装 FaceID 模型

如果你希望通过 IP Adapter Plus 插件保持人物脸部特征的一致性,你需要下载额外的 FaceID 模型和对应的 Lora 模型,并将它们安装到指定的路径。此外,还需要配置 insightface 环境,具体的部署方法可以参照官方提供的链接进行操作。这些步骤将确保插件能够精确地处理和保留人脸特征。

四、导入工作流

完成上述安装步骤后,不要忘记重启 ComfyUI。在 IP Adapter Plus 的根目录中,你会找到一个名为 `example` 的文件夹,其中包含官方提供的 13 个不同的工作流,涵盖了基础功能、进阶技巧、FaceID 功能、处理负面图像、图像分块等多种应用,这些都可以直接导入到 ComfyUI 中使用。此外,官方 GitHub 主页上也提供了视频教程的链接,视频中对新功能进行了详细的介绍,可以帮助你更好地掌握插件的使用方法。

五、风格/构图迁移功能

风格迁移一直是 IP Adapter 的核心功能,现在新增的构图迁移功能进一步扩展了它的应用范围。下面我们将简单介绍这两种功能的用法,具体的工作流文件可以在文末的云盘链接中找到

① 风格迁移(Style transfer)

使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。

② 构图迁移(Composition)

如果你只想提取某张图像的构图,可以将 IP Adapter Advanced 节点中的 weight_type 设置为 composition。这个设置能够分析并学习图像中的人物姿态、动作或整体的主体构图。例如,新生成的赛博朋克风格的房间会在镜头角度、窗户位置和家具摆放等方面与原图保持高度一致。这种方法相比于 controlnet 的线条约束更加灵活自由,同时在整体效果上也显得更为自然合理。

③ 风格&构图混合迁移

在这个功能中,你需要使用一个新的节点,名为 IPAdapterStyleComposition,它允许同时导入风格参考图像和构图参考图像,以实现对两者的分别控制。使用时,可以灵活调整风格和构图的权重,以获得更精确的效果。这样,你可以精细调控图像的风格氛围和视觉布局,实现更符合需求的图像创作。

如有侵权,请联系删除。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

https://hnxx.oss-cn-shanghai.aliyuncs.com/official/1705977579777.png?t=0.9410659636814713

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

若有侵权,请联系删除!

  • 22
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值