ComfyUI + ipAdapter = 创意无限

IPAdapter，之前听雨介绍过在 SD WebUI 中的使用，今天我们来介绍一下 IPAdapter 在 ComfyUI 中又能玩出什么花样呢！

这里也简单介绍一下 IPAdapter，是腾讯 AI 实验室发布的类似于 MJ 的垫图功能，但又强于 MJ 的垫图功能。 可以迁移图片的风格，可以实现多张图片风格的融合，还可以搭配 ControlNet 来实现更多样化的功能。

首先在管理器中搜索「ComfyUI_IPAdapter_plus」并安装，然后重启。管理器是一个插件哈！不清楚的小伙伴可以看之前的文章。

或者也可以自己手动安装也可以。

网址： https://github.com/cubiq/ComfyUI_IPAdapter_plus

然后，我们需要去 huggingface 中下载 ipAdapter 对应的模型，这里需要注意一下，针对 SD1.5 和 SDXL 分别有不同的模型，小伙伴们可以按需下载。

模型地址： https://huggingface.co/h94/IP-Adapter/tree/main

模型下载完成以后放入以下目录：

\ComfyUI\ custom_nodes\ComfyUI_IPAdapter_plus\models

然后再下载红框中 1 的两个图像编码器，两个图像编码器下载下来的文件名都是「model.safetensors」，我们自己需要重命名一下。听雨重命名成「sd15_clip.safetensors」「sdxl_clip.safetensors」，已经放入网盘中。

这里需要注意的一点是，2 中下载的模型虽然是 sdxl 的，但是也需要使用 SD1.5 的图像编码器，要不然会报错哦！

重命名以后放入以下目录，ipadapter 是听雨新建的，主要是为了做功能的区分，小伙伴们也可以直接放在 clip_vision 下。

\ComfyUI\models\clip_vision\ipadapter

模型和图像编码器都下载放入指定目录以后，我们重启 ComfyUI，然后加入 ipAdapter 的节点，以下就是一个简单的加入 ipAdapter 节点的工作流，听雨也会把对应的工作流放入网盘中。

复制听雨的工作流以后，我们只需要上传我们想要借鉴的风格的图片，然后选择大模型，输入提示词点击生成就会生成风格类似的图片了。

工作流见：IPAdapter_00001_.png

除了以上的简单应用以外，我们还可以结合 ipadapter 和 ControlNet 来实现两张图片的融合。

比如我们想要把图一的风格迁移到图二上，那就只需要再加上 ControlNet 的 Canny 模型就可以。这样就可以得到一张图一风格但是又保留了图二整体轮廓的图片了。这种方式也可用于装修风格的迁移。

工作流见：IPAdapter_Canny.png

ipadapter 还提供了一中专门换脸的模型，我们只需要上传一张脸部的图片，然后输入我们想要的提示词就可以替换我们生成图片中人物的脸。sd1.5 和 sdxl 模型分别是「ip-adapter-plus-face_sd15.bin」和「ip-adapter-plus-face_sdxl_vit-h.bin」，这两个模型都要使用 sd1.5 的图像编码器哦!

工作流见：IPAdapter_face.png

还可以上传多张图来融合图片风格。

工作流见：IPAdapter_batch_images.png

当上传多张图片时，还可以结合 IPAdapterEncoder 控制每张图片的融合权重，最多可以设置 4 张图片。

工作流见：IPAdapter_weighted.png

 

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南

• 环境配置

• 脚本更新

• 后记

• .......

二、ComfyUI基础入门

• 软件安装篇

• 插件安装篇

• ......

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解

• Stable diffusion 工作原理

• 工作流底层逻辑

• 必备插件补全

• ......

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解

• 提词技巧精通

• 多模型节点串联

• ......

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率

• 姿势

• ......

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型

• SDXL风格化提示词

• SDXL工作流搭建

• ......

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取