comfyUI基础教程：IPAdapter，从风格转换到无所不能！-CSDN博客

本文链接：https://blog.csdn.net/2401_84760527/article/details/143504703

前言

IPadapter是SD开源社区自2023年下半年推出的风格迁移系列模型，由于能力非常强大，现在已经成为comfyUI体系里面实现各种功能不可或缺的关键模块之一。

包括国内大厂开源的photomaker和instantID,本质上都是

举个例子，和之前讲过的controlnet结合使用，IP-Adapter（用于风格）和ControlNet（用于构图），能够实现视频完美的转换风格。

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

首先，使用IP-Adapter在/ComfyUI/models/ipadapter目录中安装所需的IP-Adapter模型。

可以看到，IP-Adapter模型数量非常多，初学者会看晕。

详细的介绍如下：

/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名
/ComfyUI/models/ipadapter，如果不存在则创建它
ip-adapter_sd15.safetensors，基本模型，平均强度
ip-adapter_sd15_light_v11.bin，轻型影响模型
ip-adapter-plus_sd15.safetensors，Plus 模型，非常强大
ip-adapter-plus-face_sd15.safetensors，脸部模型，肖像
ip-adapter-full-face_sd15.safetensors，更强的人脸模型，不一定更好
ip-adapter_sd15_vit-G.safetensors，基础模型，需要 bigG 剪辑视觉编码器
ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 型号
ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 人脸模型
ip-adapter_sdxl.safetensors，vit-G SDXL 模型，需要 bigG 剪辑视觉编码器

此外：

大多数 FaceID 型号都需要 LoRA。如果您使用它，IPAdapter Unified Loader FaceID并且遵循命名约定，它将自动加载。否则，您必须手动加载它们，请注意每个 FaceID 模型都必须与其自己特定的 LoRA 配对。

/ComfyUI/models/loras
ip-适配器-faceid_sd15_lora.safetensors
ip-适配器-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors , SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL 加 v2 LoRA

但总体来说，无非分为两类，一类是早期不带PLUS的，基本已经弃用。

另一类是带PLUS的，目前主力；其中又分为普通的PLUS，和带face（主攻面部特征）的。

PLUS里面，又根据SD模型体系分为了1.5体系和XL体系，分别适配两代模型。

所以，你只要记住，用风格迁移，就用不带FACE的，希望换脸，就用带FACE的。大致就可以了。

那么，IP-Adapter应该怎么用呢？

需要重点指出的是，在3月份，IP-Adapter在COMFYUI的代码经历过一次全面重写，导致前后不再兼容，3月之前称之为旧版，3月之后称之为新版。

以上是旧版的faceID-V2的适配，由于我的节点已经更新过，老工作流里面的V1节点已经不再获得支持。无法再使用。

新版本实现同样功能的节点，明显更加简洁。用户无需再自行设置难记的模型搭配。

只需要选择不同的用法，节点内已经自行配置好了各种用法搭配。

其实，关键还是要找准办法。在IP-Adapter的节点文件夹里面，我们可以找到example，这里面，作者已经给出了示例。

导入示例工作流，即可看到不同的搭配用法。

一般来说，我们常用的主要有下面几种功能：

以上工作流都可以在openart.ai找到。当然，访问这个网址需要魔法。

它的好处是什么呢？

显而易见的一点是，有了IPAdapter，我们不一定需要训练风格LORA了。

IPAdapter的效果越强，训练LORA的必要性就越低。

另外，在工作流体系里面，它可以变化的玩法太多了。以后我们出视频拆解工作流的时候，再逐一细讲。本篇作为基础教程，就讲到这里。

要熟悉IP的玩法，就必须自己去把示例工作流看一遍，因为它还是一个经常频繁更新的技术模块，因为保持一定的更新了解是必要的。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。