大家好,这里灵魂画师向阳
IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。
最近,ComfyUI IP Adapter Plus 的作者 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准确地控制出图效果。
通过新版 IP Adapter Plus 插件分别学习梵高的风格和蒙娜丽莎的构图
但此次更新后,我们之前所有包含 IP Adapter Plus 的工作流也都无法使用了,需要用新节点重新搭建。今天就为大家详细介绍一下新版插件的安装使用方法。
一、插件安装
Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件更新介绍)
- 在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。
- 插件可以通过 Manager 安装,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。
二、安装基础模型
Github 主页中对需要安装的模型有详细描述,下载后按要求安装到指定路径即可,需要注意的内容有:
- 安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内;
- 如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个;
- models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
4. 文末扫描即可免费获取对应的模型资源,可以直接下载使用。
三、安装 FaceID 模型
如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则需要再下载 FaceID 模型以及对应的 Lora 模型,并安装到指定路径。此外还需要部署 insightface 环境,具体部署方法可以看官方给的链接。
四、导入工作流
以上安装步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文件夹,里面有官方提供的 13 个工作流,包含基础、进阶、FaceID、负面图像、分块等多种功能,大家可以直接导入 ComfyUI 中使用体验。官方 Github 主页中也有附上视频教学链接,里面对新功能有详细的介绍。
五、风格/构图迁移功能
风格迁移是 IP Adapter 最重要的功能,现在又新增了构图迁移功能,让它能发挥的作用更大了。下面就结合工作流文件,简单介绍一下它们的用法(工作流文件请看文末扫描免费获取哦)。
① 风格迁移(Style transfer)
使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。
② 构图迁移(Composition)
如果只想提取一张图像的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图像中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。
③ 风格&构图混合迁移
此功能中需要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入风格参考图像和构图参考图像,实现分别控制。使用时同样可以多调整二者的权重,获得更准确的效果。
那么以上就是本期为大家介绍的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及工作流文件我都打包好啦,看下方扫描即可免费获取哦
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://img-blog.csdnimg.cn/img_convert/dd645203f4a4fef9832229d7c9839a6f.png)