ComfyUI一键更换服装：IP-Adapter V2 + FaceDetailer(DeepFashion)

于 2024-05-14 10:52:24 发布
阅读量1k 收藏 22
点赞数 7
文章标签： tcp/ip 网络协议 网络 stable diffusion 服务器 人工智能 comfyui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maiya_yayaya/article/details/138843732
版权

在这篇文章中，我们将探索如何使用新版的IP-Adapter和ComfyUI软件为人物进行换装。

整个过程非常简单，仅需要两张图片：一张服装图片和一张人物图片。

通过一系列节点的操作，ComfyUI就会把这个服装换到人物身上，并利用FaceDetailer节点来修复任何细微的服装问题。

准备工作流

首先，请确保你已经下载并导入了工作流到你的ComfyUI。需要的小伙伴到文章末尾下载！

如果在导入过程中遇到节点显示为红色色块，并且有弹窗提示缺失特定节点。

请按照以下步骤解决：

1️⃣ 更新ComfyUI： 在开始之前，请确保你的ComfyUI是最新版本，以免下载到过时的IP-Adapter版本。

2️⃣ 安装缺失节点： 打开ComfyUI管理器，选择“安装缺失节点”，并安装以下三个节点：

  • ComfyUI Impact Pack
  • ComfyUI IPAdapter Plus
  • segment anything

3️⃣ 重启ComfyUI： 安装完节点后，点击界面下方的重启按钮。如果重启后一些节点仍显示为红色，不必担心，只需简单刷新一下网页即可解决。

导入和准备图像

为了充分利用提供的工作流并实现人物换装，让我们一步步在ComfyUI中构建所需的操作。我将详细指导你如何加载图像、创建服装遮罩，并最终生成预览图像。

步骤一：加载人物图像

  1. 打开ComfyUI界面： 进入ComfyUI的主界面。
  2. 导入图像加载节点： 双击打开搜索栏，输入load，从搜索结果中选择并导入Load Image节点（加载图像）。
  3. 上传人物图片： 点击upload按钮，上传你希望换装的人物图片。

步骤二：创建服装遮罩

  1. 导入语义分割节点： 双击搜索栏，输入grounding，选择并导入GroundingDinoSAMSegment节点。
  2. 加载SAM模型： 需要为语义分割节点提供模型支持。双击并搜索sammodel，选择SAMModelLoader（SAM模型加载器），然后将这两个节点相连。
  3. 配置模型： 点击模型名称，在弹出的选项中根据你电脑的配置选择适当的模型。确保设置模型输入词以特定于你要分割的物体（例如“裙子”），以便正确分割。
  4. 连接图像输入： 将Load Image节点的输出端口连接到GroundingDinoSAMSegment的图像输入端口。

步骤三：遮罩细化和预览

  1. 遮罩羽化处理： 为了使遮罩边缘更加自然，双击搜索feather，导入FeatherMask（遮罩羽化）节点，并将其连接到GroundingDinoSAMSegment。
  2. 转换遮罩为图像： 为了可视化遮罩效果，双击搜索convert，选择Convert Mask to Image（遮罩转图像），并将其连接到FeatherMask。
  3. 生成并查看预览图像： 从Convert Mask to Image节点拉出PreviewImage（预览图像）节点，生成遮罩图像并查看效果。

完成上述步骤后，你将看到遮罩的图像，它将展示出裙子的具体形状。这个遮罩将用于下一阶段的换装过程，确保新的服装可以精确覆盖在原图的对应部分。

配置IP-Adapter

接下来，我们将详细介绍如何搭建IP-Adapter模块，使用另一张裙子的图片进行人物换装。这部分包含安装必要的模型、导入和连接各种节点，以确保换装过程的顺利进行。

安装必要的模型

  1. 打开ComfyUI管理器： 进入管理器界面。
  2. 安装IP-Adapter模型： 点击“安装模型”按钮，搜索“ipadapter”。找到包含“sdxl”字样的三个模型，并点击安装。
  3. 关闭管理器并刷新界面： 模型安装完成后，关闭管理器并在主界面点击“刷新”按钮以更新设置。

导入服装图片

类似于加载人物图片的步骤，搜索并导入Load Image节点，上传你选择的新服装图片。

设置IP-Adapter

  1. 导入IP-Adapter节点： 搜索并导入IPAdapter Advanced节点。
  2. 导入模型加载器： 搜索unified，导入IPAdapter Unified Loader，选择“PLUS”预设。
  3. 连接Checkpoint加载器： 导入并连接Checkpoint加载器到IP-Adapter模型加载器，选择SDXL模型。

配置关注层遮罩和CLIP模型

  1. 连接遮罩： 将FeatherMask的MASK输出端口连接到IPAdapter Advanced的attn_mask（关注层遮罩）输入端。这样做是为了明确告诉IP-Adapter应该关注图像中的哪个部分，即在本例中是服装的区域。
  2. 导入CLIP视觉加载器： 从ComfyUI的节点库中拖出CLIP Vision Loader（CLIP视觉加载器）。
  3. 安装CLIP模型：
  • 如果尚未安装所需的CLIP模型，打开ComfyUI管理器。
  • 在搜索框中输入clip，搜索相关模型。
  • 找到包含laion2B字样的模型，并进行安装。通常，这些模型针对不同的视觉任务进行了优化，选择合适的模型可以提升处理效果。
  1. 刷新界面： 安装完毕后，返回主界面并刷新，以确保新安装的模型能够被加载器识别和使用。
  2. 选择合适的模型： 在CLIP视觉加载器中选择模型名称末尾包含b79k的模型，这通常表示该模型在特定的数据集或任务上有更好的表现。

设置K采样器与CLIP文本编码器

  1. 配置K采样器： 在高级版的IP-Adapter节点的模型输出端口拖出一个基础版的K采样器。K采样器在这里用于根据模型指示调整图像的特定区域。

  2. 连接CLIP文本编码器：

    • 从K采样器的"positive"和"negative"输入端拖出两个"CLIP Text Encoder"（CLIP文本编码器），并使用不同颜色标记以便区分。
    • 将这些编码器连接到"Load Checkpoint"，这一步骤是必要的以确保文本编码器能够加载和处理相关的文本提示，进而影响图像生成过程。

配置VAE编码器和解码器

  1. 设置VAE编码器：

    • 从"latent_image"（潜空间图像）的输出端拖出"用于局部重绘的VAE编码器"。
    • 连接此编码器的"pixels"端口到"Load Image"，“vae"到"Load Checkpoint”，以及"mask"到"FeatherMask"。这样设置是为了用之前生成的遮罩告诉这个编码器哪个部分需要去噪。

  2. 激活VAE解码器：

    • 从"Latent"端口拖出VAE解码器。
    • 将"vae"端口连接到"Load Checkpoint"，确保解码器能够正确解析并重建图像。

完善VAE解码过程

  • 从K采样器的"LATENT"输出端拖出"VAE Decode"（VAE解码）节点。
  • 将解码器的"vae"连接到"Load Checkpoint"，以确保能够加载和应用模型参数。
  • 从解码器的图像端口拖出"Preview Image"（预览图像）节点，以便生成并查看最终的图像。

应用提示词以精细化控制

  • 添加提示词： 在IP-Adapter的相关设置中添加描述服装的提示词，例如"blue dress with floral print"（印花图案的蓝色裙子）。这样做可以帮助模型更精确地理解和实现所需的服装样式和图案。

评估和调整权重类型

1️⃣ 初次评估：

  • 生成并查看图像，注意裙子的视觉效果。如果发现裙子显得太平，不具备应有的立体感，这时需要调整权重类型。

2️⃣ 调整权重类型：

  • 样式迁移（Style Transfer）： 切换到样式迁移权重，再次生成图像以查看改进后的立体感。
  • 弱输入（Weak Input）： 若立体感仍不足，尝试弱输入权重，这通常使得图案细节更加突出，但可能牺牲一些立体感。

引入FaceDetailer修复服装细节

为了进一步提升换装效果，特别是增强服装的立体感和细节表现，我们将引入"FaceDetailer"节点和服装区域检测功能。以下步骤将指导您如何安装必要模型、配置相关节点，并最终评估优化效果。

安装和配置DeepFashion模型

打开ComfyUI管理器，搜索并安装"DeepFashion"模型，该模型专为服装相关的图像处理优化。

配置FaceDetailer节点

  1. 导入FaceDetailer节点：

    • 导入"FaceDetailer"节点，通常用于修复面部细节，但也适用于服装的细节优化。

  2. 连接图像和Checkpoint：

    • 将"FaceDetailer"的图像端口连接到"VAE Decoder"输出的图像，以接收之前生成的图像。
    • 连接"Load Checkpoint"以加载所需的模型参数。

  3. 配置CLIP文本编码器：

    • 可以复用之前用于K采样器的CLIP文本编码器，或者导入新的编码器专用于"FaceDetailer"。使用专用编码器的好处是可以通过定制化的提示词进一步优化服装的视觉效果。

配置服装区域检测节点

  1. 导入并配置检测器：

    • 使用"UltralysticsDetectorProvider"节点来检测服装区域，这有助于精确应用图像处理效果。
    • 连接模型并选择"deepfashion"作为源，确保检测精度。

  2. 设置SAM模型加载器：

    • 从"sam_model_opt"端口拖出"SAMLoader(Impact)"，选择适合你计算能力的模型配置。

  3. 导入和配置图像预览节点：

    • 导入预览图像节点，以便在处理后直接查看效果。

生成和比较图像

  1. 生成修复后的图像：

    • 运行整个配置，生成经过"FaceDetailer"优化后的图像。

  2. 对比优化效果：

    • 将优化前后的图像并排展示，评估立体感和细节的改善，特别是服装的花朵图案和整体质感。

通过这些步骤，您不仅能够解决原始换装图像中存在的问题，还能显著提升服装的立体感和细节表现，使其看起来更加自然和逼真。

结论

通过以上步骤，你可以成功地为人物换装，并通过IP-Adapter的高级配置实现更自然和精确的视觉效果。这个工作流的构建不仅涉及基本的图片加载和节点连接，还包括对高级模型和编解码器的深入配置，使得整个过程既详细又具有教育意义。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

这份完整版的资料我已经打包好，点击下方添加即可免费领取！

​

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

img

这份完整版的资料我已经打包好，点击下方添加即可免费领取！

​

程序员小麦
关注
  • 7
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Lua-Adapter：轻量级仅标题的Lua-C ++适配器绑定
02-03
Lua-Adapter：轻量级仅标题的Lua-C ++适配器绑定
axios-fetch-adapter:提取适用于axios的适配器
05-10
为什么 我将在Web应用程序中采用PWA，并且这些Web应用程序大量使用带有默认XMLHTTPRequest适配器的Axios。 因此，我必须切换到Fetch适配器； 但是，Axios目前没有用于提取API的适配器。 因此，我在等待Axios正式发布时编写了一个供使用。 安装及使用 您可以直接从此存储库URL安装适配器，也可以随时将其源代码复制到您的项目中。 npm install axios npm install @vespaiach/axios-fetch-adapter 有两种使用方法： 创建一个新的Axios实例并在配置中传递此适配器 const instance = axios.create({ baseURL: 'https://some-domain.com/api/', timeout: 1000, adapter: fetchAdapter ....
comfyui中 执行 IPAdapterUnifiedLoader 时发生错误：未找到 IPAdapter 模型。出现这个问题的解决办法！
hhcvbc的博客
04-08 2368
comfyui中报错解决问题
so-adapter-so-oof-adapter：soadaptersso-oof-adapter回购的镜像
02-24
so-adapter-so-oof-adapter：soadaptersso-oof-adapter回购的镜像
sentinel-spring-webmvc-adapter-1.8.0-API文档-中文版.zip
05-09
赠送jar包：sentinel-spring-webmvc-adapter-1.8.0.jar； 赠送原API文档：sentinel-spring-webmvc-adapter-1.8.0-javadoc.jar； 赠送源代码：sentinel-spring-webmvc-adapter-1.8.0-sources.jar； 赠送Maven依赖信息文件：sentinel-spring-webmvc-adapter-1.8.0.pom； 包含翻译后的API文档：sentinel-spring-webmvc-adapter-1.8.0-javadoc-API文档-中文(简体)版.zip； Maven坐标：com.alibaba.csp:sentinel-spring-webmvc-adapter:1.8.0； 标签：spring、alibaba、csp、sentinel、adapter、webmvc、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放
mongodb-adapter：Casbin的MongoDB适配器
02-02
MongoDB适配器 MongoDB适配器是的适配器。 有了这个库，Casbin可以从MongoDB加载策略或将策略保存到其中。 安装 go get -u github.com/casbin/mongodb-adapter/v3 简单的例子 package main import ( "github.com/casbin/casbin/v2" "github.com/casbin/mongodb-adapter/v3" ) func main () { // Initialize a MongoDB adapter and use it in a Casbin enforcer: // The adapter will use the database named "casbin". // If it doesn't exist, the adapter will create it automatically. a , err := mongodbadapter . NewAdapter ( "127.0.0.1:27017" ) // Your MongoDB URL
升级版ComfyUI InstantID 换脸：FaceDetailer + InstantID + IP-Adapter
最新发布
z551646的博客
05-11 256
在使用ComfyUI的InstantID进行人脸替换时，一个常见问题是该工具倾向于保留原始参考图的构图，即使用户的提示词与之不符。例如，即使用户提供的是大头照并请求生成全身照，结果仍是大头照，没有显示出用户所期望的构图。同样，从半身照生成全身照的工作流也会遇到同样的问题——生成的图像仍然是半身照。为了克服这一挑战，我设计了一种新的工作流程，该流程可以将参考图中的人脸替换到任意一张照片上，而不受原始构图的限制。这种方法不仅提高了创作的灵活性，还确保了生成的图像能更好地符合用户的实际需求。
webUI下使用IP-adapter的简要说明
聚梦小课堂
03-17 2815
IP-adapter是一个最近比较火的模型，但是在webUI下使用，经常会报各种各样的错误，这里简单讲一下模型匹配问题的处理方式，希望对你有帮助。
【深度学习】IP-Adapter-FaceID，IP-Adapter，代码实践
q742971636的博客
04-01 1396
之前介绍了一下论文： https://qq742971636.blog.csdn.net/article/details/137224151 测试出图 将majicmixRealistic_v7转为diffusers文件： 运行这个app.py： 效果都有点崩，还需要继续探索。问询、帮助请看：
【Stable Diffusion】最新换脸模型：IP-Adapter Face ID Plus V2 WebUI 效果超赞！
bagell的博客
04-17 1683
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1
05-22
docker load -i prometheus-adapter-v0.9.1.tar.gz ; docker images |grep k8s.gcr.io/prometheus-adapter/prometheus-adapter
ioBroker.smartmeter:ioBroker-Adapter 使用 SML、D0 等协议读取 Smart-Meter
08-03
ioBroker.smartmeter 该适配器使用 Sentry 库自动向作为开发人员的我报告异常和代码错误。 更多详情见下文！ 此 ioBroker 适配器允许读取和解析遵循 OBIS 编号逻辑的智能电表协议，以使其数据可用。 Adapter 需要 nodejs 8.x+ 才能工作！ 此适配器当前需要安装 git 才能安装！ 参数说明 ioBroker-Forum-Thread： : f=23&t=5047&p=54973 数据协议 支持的协议： Sml : SML（智能消息语言）作为二进制格式 D0 : D0（基于 IEC 62056-21:2002/IEC 61107/EN 61107）作为 ASCII 格式（目前不支持二进制协议模式 E） Json-Efr ：来自 EFR 智能电网中心的 OBIS 数据（JSON 格式） 数据传输 串行接收：通过串行推送数据接收（
axios-mp-adapter:允许在微信小程序中发出请求的Axios适配器
05-02
axios-mp-适配器 安装 使用npm： npm i axios-mp-adapter --save-dev 例子 var axios = require ( 'axios' ) ; var mpAdapter = require ( 'axios-mp-adapter' ) ; axios ( { url : 'https://foo.bar' , adapter : mpAdapter , } ) . then ( ( response ) => { // handle the response } ) ; 执照 :copyright:
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
weixin_44031582的博客
12-14 6024
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling Tip-Adapter为CLIP模型添加了一个两层多层感知器(MLP)的Adapter和一个结合pre-trained features与updated features的残差连接。与CLIP-Adapter不同，Tip-Adapter不需要SGD来训练Adapter，而是从few-shot监督中构建一个query-key缓存模型，以获得Adapter的权
面部识别技术的突破：IP-Adapter-FaceID实现上传照片秒变多面人生
heehelcom的博客
01-06 1803
IP-Adapter-FaceID的独特之处在于，它不仅捕捉到个体的基本外貌特征，更深入地嵌入了面部识别模型的面部ID，使生成的图像在细节上更为准确和逼真。接下来，结合文本描述生成算法，IP-Adapter-FaceID可以在不同场景下生成高度个性化的面部图像，与原始面部特征完美契合。用户只需上传几张自己的照片，就能够轻松地获得在各种场景中的仿真照片，实现面孔的克隆。在个人娱乐领域，用户可以通过IP-Adapter-FaceID体验不同造型、不同场景下的自己，为社交媒体上的照片增添更多的趣味性。
ComfyUI + ipAdapter = 创意无限
2401_84760527的博客
05-10 656
IPAdapter，之前听雨介绍过在中的使用，今天我们来介绍一下 IPAdapter 在 ComfyUI 中又能玩出什么花样呢！这里也简单介绍一下 IPAdapter，是实验室发布的类似于 MJ 的垫图功能，但又强于 MJ 的垫图功能。可以迁移图片的风格，可以实现多张图片风格的融合，还可以搭配 ControlNet 来实现更多样化的功能。首先在中搜索「ComfyUI_IPAdapter_plus」并安装，然后重启。是一个插件哈！不清楚的小伙伴可以看之前的文章。或者也可以自己手动安装也可以。
Java的学习(下)
qq_461491877的博客
02-02 1570
JAVA的学习(下) 2019版尚硅谷Java入门视频教程，哔哩哔哩链接：https://www.bilibili.com/video/BV1Kb411W75N?p=5 十一、Java集合 11-1 Java集合概述 1.集合的使用场景 Java 集合可分为 Collection 和 Map 两种体系 ​ ØCollection接口：单列数据，定义了存取一组对象的方法的集合 ​ List：元素有序、可重复的集合 ​ Set：元素无序、不可重复的
官方问答--微信小程序常见FAQ (17.8.21-17.8.27)
热门推荐
Dreawer微信小程序联盟
09-05 2万+
给提问的开发者的建议： 提问之前先查询 文档、通过社区右上角搜索搜索已经存在的问题。 写一个简明扼要的标题，并且正文描述清楚你的问题。 提交 BUG：需要带上基础库版本号，设备信息（iOS, Android,开发工具等等），操作系统信息（系统版本），以及可以让他人重现的信息，最好能够提供重现 demo. 对于提供信息过少的问题，会直接关闭，请提供完整信息以后重新打开问题。 另外，对于如何做某某
状态:+失败+-测试失败:+IO+错误:+The+Network+Adapter+could+not+establish+the+connection
03-13
根据您提供的信息，"The Network Adapter could not establish the connection" 错误通常表示网络适配器无法建立连接。这可能是由于以下原因之一导致的： 1. 网络连接问题：请确保您的网络连接正常，并且网络适配器已正确配置。您可以尝试重新启动网络设备或联系网络管理员进行进一步的故障排除。 2. 防火墙或安全软件：某些防火墙或安全软件可能会阻止网络连接。请检查您的防火墙设置，并确保允许所需的网络连接。 3. DNS问题：DNS（域名系统）解析问题可能导致无法建立连接。您可以尝试使用其他DNS服务器或清除本地DNS缓存来解决此问题。 4. 代理设置：如果您使用代理服务器进行网络连接，请确保代理设置正确，并且代理服务器可用。 如果您仍然遇到问题，建议您提供更多详细信息，例如操作系统、网络环境和具体的错误消息，以便我们能够更准确地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值