ComfyUI: 局部重绘如此简单和“有趣”!

当我们在图片进行处理的时候,把图片中某一部分进行替换,是一个非常常见的需求。今天就结合Flux和最新的FILL模型来讲一讲局部重绘

我们先来“搞点艺术”,以戴珍珠耳环的少女为素材来做一个流程演示!最后“上点技能”给复联女神来设计一下发型,服装和…

下面我就一步一步来说,你一点一点看,只要稍微花点时间,所有人都能做到。

这份完整版的comfyui整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

准备工作

软件

开始之前,需要先准备好ComfyUI软件本体,可以网页版也可以是桌面版

确保把版本升级到最新。

我这次使用的是ComfyUI网页版,可以通过软件目录下update中的bat脚本进行升级。

基本上点箭头中的三个升级脚本都可以。

我是点击第二个,升级代码和依赖。

模型

模型是核心部分,用的是黑森林在21号发布的FLUX.1 Tools中的fill模型。

这个模型全名为:flux1-fill-dev.safetensors,大小为22GB左右。

FILL最先进的图像修复和图像外绘模型,能够在给定文本描述和遮罩的情况下对真实图像和生成图像进行编辑和扩展。

从描述中可以知道,他的功能有两个,一个是修复(局部重绘),一个是外绘(扩图)。

FILL的操作对象可以是生成图和也可以是真实图片。这个就很强,很好用!

具体有多强,可以往下看。

今天主要讲局部重绘

除了FILL模型之外,还需要配套的CLIP和VAE模型。如果之前运行过FLUX工作流,肯定已经有了这个模型。如果没有运行过,就需要单独去下载一下。

工作流

FILL的工作流并不复杂。

主要的输入为FillClip模型,以及文字描述和需要重绘的图片。输出就是重绘完成之后的图片。工作流可以保存在图片和JSON文件中。

开始干活

软件,模型,工作流都准备好之后,就可以开始干活了。

1️⃣模型归位

flux1-fill-dev.safetensors放到diffusion_models文件夹里面。

flux_ae.sft模型放到Vae文件夹里面。

把clip模型,放到clip文件夹下面。

简简单单,复制黏贴,模型就的放置就搞定了。

2️⃣模型选择

模型放好后,双击run_nvidia_gpu启动软件,启动成功后导入工作流。只需要把工作流的JSON文件拖到软件上即可导入。

导入工作流流之后,其实默认就帮你设置好了模型。但是本地模型的名称和工作流里的模型名称可能不一致,所以需要检查一下,选择正确的模型。点击选项或者左右三角形可以选择模型。

3️⃣图片和提示词

我们的目标是修改图片,自然要先选择好图片,另外需要用文字描述去控制修改的内容,所以也要准备好提示词。

图片直接从网上拉一张就好了,提示词很简单:“A girl with sunglasses,holding a ciger.”。

因为是局部替换,所以还需要标注替换区域

在图片节点上右键,点击Open in MuskEditor, 打开遮罩编辑器。点击左键涂抹需要替换的区域。如果涂错了可以选择橡皮擦擦除。涂好后,点击Save保存。

4️⃣开始生成

设置全部完成,开始一键出图,反复抽卡。

点击蓝色的Queqe按钮,开始生成图片。

我这里用的图片分辨率是1200x1400,还是挺大的。

这张图片在3090上生重绘时间大概是82秒左右。

5️⃣查看结果

图片生成过程会实时显示在左边的节点中。

运行完全结束之后,右边的节点会显示最终的图片。同时把图片保存到了output文件中。

下面来看下细节。

边缘毫无PS痕迹,完美融合。

物理裂痕都完美的复刻了。

稳定性很高,不需要抽太多次,就能抽到效果不错的图片。

这张图唯一的瑕疵是,嘴巴叼雪茄这里不太自然。但是因为这个眼睛不错,我就用这张图做演示了。

除了可以戴眼镜,叼雪茄之外,也可以:

变小孩,变中年妇女,变非洲人,也可以给脸上来点小蝴蝶印记。

除了无法保证角色一致性之外,就生成效果来说真的是非常棒👍。

流程的演示就到这里了。

只要软件,模型,工作流到位,接下来就是点一下的问题了。

其他全部交给强大的FLUX FILL模型了。

下面再做一些其他图片的效果演示,给大家一个参考!

我用AI生成的图片试了下,效果如下:

能看出来是都是什么小动物么?

最后用真人图片来试一下,模特是我们妇联女神“黑寡妇”的扮演者斯嘉丽·约翰逊。

我的ID叫托尼,但是我一般不让人叫我“老师”。这两个词一连起来就有一股奇怪的味道😄

今天破个例,给寡姐弄点造型。

先从头发做起。

发型,发色都要搞一搞。

衣服也要换一下:

不同场合,可以用不同深度的衣服。

这个短裙和腿也可以换一换:

皮裤,黑丝,小碎花。可纯可性感。

换一点不得劲儿,那就来个套装:

材质,颜色,款式,大小,任君把握!

为了给她做全套造型,我整整抽了一天的图,抽得头晕眼花。

能发出来的我就发出来了,不能发出来的就自己收藏了啊!

软件怎么用我全部说了,使用场景我只是演示了很小的一部分,其他就靠大家发挥想象了。

FLUX这次发布的模型除了Fill之外,还有Canny,Depth,Redux。每一个都有特定的应用场景,每一个都要比之前的强很多,配合上comfyUI,就可以做到出图“自主可控”了。

这份完整版的comfyui整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### ComfyUI 中混合局部的方法原理 在 ComfyUI 平台中,混合局部功能允许用户针对图像特定区域进行制或修改,而不影响其他部分。这一过程通过一系列精心设计的工作流节点来完成。 #### 工作流程概述 当执行混合局部操作时,主要涉及以下几个核心组件: - **输入源图像**:原始图片作为背景层保持不变。 - **蒙版生成器 (Mask Generator)**:用于定义哪些区域需要被[^1]。 蒙版是一个二值化图像,其中白色像素表示要处理的区域,黑色则代表保留原样不动的部分。 - **编辑工具 (Editing Tool)**:提供给用户交互界面以指定具体的画动作或参数设置。 - **合成引擎 (Composition Engine)**:负责将新制的内容无缝融合到原有图像之上。 #### 技术细节解析 具体来说,在技术层面实现上述目标依赖于以下机制: ##### 图像分割与特征提取 利用先进的计算机视觉算法对输入图像进行分析,识别并分离出待修复的目标对象及其边界轮廓。这一步骤对于确保后续处理精度至关要。 ##### 自动化填充策略 基于深度学习模型预测缺失纹理样式,并自动生成合理的填补方案;同时支持手动调整选项以便满足个性化需求。 ##### 多层次优化迭代 经过多次循环计算逐步完善最终效果直至达到理想状态。期间会综合考虑色彩匹配度、光影一致性等因素以保障整体自然过渡。 ```python def comfyui_local_redraw(image, mask_area): """ 模拟ComfyUI中的局部函数 参数: image : 原始图像数据 mask_area : 需要的区域掩码 返回: result_image : 完成局部后的图像 """ # 进行预处理... # 应用高级AI算法进行智能修补... # 合成结果图像... return result_image ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值