IPAdapter,之前听雨介绍过在 SD WebUI 中的使用,今天我们来介绍一下 IPAdapter 在 ComfyUI 中又能玩出什么花样呢!
这里也简单介绍一下 IPAdapter,是腾讯 AI 实验室发布的类似于 MJ 的垫图功能,但又强于 MJ 的垫图功能。 可以迁移图片的风格,可以实现多张图片风格的融合,还可以搭配 ControlNet 来实现更多样化的功能。
首先在管理器中搜索「ComfyUI_IPAdapter_plus」并安装,然后重启。管理器是一个插件哈!不清楚的小伙伴可以看之前的文章。
或者也可以自己手动安装也可以。
然后,我们需要去 huggingface 中下载 ipAdapter 对应的模型,这里需要注意一下,针对 SD1.5 和 SDXL 分别有不同的模型,小伙伴们可以按需下载。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
![](https://img-blog.csdnimg.cn/img_convert/2cb5bd7709bd85d1afd85443fb0cc423.png)
模型下载完成以后放入以下目录:
\ComfyUI\custom_nodes\ComfyUI_IPAdapter_plus\models
然后再下载红框中 1 的两个图像编码器,两个图像编码器下载下来的文件名都是「model.safetensors」,我们自己需要重命名一下。听雨重命名成「sd15_clip.safetensors」「sdxl_clip.safetensors」,已经放入网盘中。
这里需要注意的一点是,2 中下载的模型虽然是 sdxl 的,但是也需要使用 SD1.5 的图像编码器,要不然会报错哦!
重命名以后放入以下目录,ipadapter 是听雨新建的,主要是为了做功能的区分,小伙伴们也可以直接放在 clip_vision 下。
\ComfyUI\models\clip_vision\ipadapter
模型和图像编码器都下载放入指定目录以后,我们重启 ComfyUI,然后加入 ipAdapter 的节点,以下就是一个简单的加入 ipAdapter 节点的工作流,听雨也会把对应的工作流放入网盘中。
复制听雨的工作流以后,我们只需要上传我们想要借鉴的风格的图片,然后选择大模型,输入提示词点击生成就会生成风格类似的图片了。
工作流见:IPAdapter_00001_.png
除了以上的简单应用以外,我们还可以结合 ipadapter 和 ControlNet 来实现两张图片的融合。
比如我们想要把图一的风格迁移到图二上,那就只需要再加上 ControlNet 的 Canny 模型就可以。这样就可以得到一张图一风格但是又保留了图二整体轮廓的图片了。这种方式也可用于装修风格的迁移。
工作流见:IPAdapter_Canny.png
ipadapter 还提供了一中专门换脸的模型,我们只需要上传一张脸部的图片,然后输入我们想要的提示词就可以替换我们生成图片中人物的脸。sd1.5 和 sdxl 模型分别是「ip-adapter-plus-face_sd15.bin」和「ip-adapter-plus-face_sdxl_vit-h.bin」,这两个模型都要使用 sd1.5 的图像编码器哦!
工作流见:IPAdapter_face.png
还可以上传多张图来融合图片风格。
工作流见:IPAdapter_batch_images.png
当上传多张图片时,还可以结合 IPAdapterEncoder 控制每张图片的融合权重,最多可以设置 4 张图片。
工作流见:IPAdapter_weighted.png
以上使用的图像编码器以及模型和工作流文件,我都放在网盘里了,感兴趣的小伙伴可以自取:
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
![](https://img-blog.csdnimg.cn/img_convert/2cb5bd7709bd85d1afd85443fb0cc423.png)
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
![](https://img-blog.csdnimg.cn/img_convert/2cb5bd7709bd85d1afd85443fb0cc423.png)