FLUX-ControlNet-Inpainting模型终于来了，附ComfyUI工作流下载!

飞天小牛仔

已于 2024-12-29 16:55:22 修改

阅读量2.7k

点赞数 20

分类专栏： AIGC 文章标签： AI作画人工智能 stable diffusion comfyui comfyui工作流

于 2024-11-14 11:30:57 首次发布

本文链接：https://blog.csdn.net/m0_71745258/article/details/143763616

版权

AIGC 专栏收录该内容

324 篇文章

订阅专栏

很多小伙伴想必都一直在期盼着支持 Flux 的 Inpainting 模型。如今，它终于闪亮登场！Alimama Creative 团队的研究人员发布的 FLUX.1-dev 模型提供了 Inpainting ControlNet 检查点。与此同时，ComfyUI 现在也已经能够支持 Flux-ControlNet-Inpainting 的推理了。

工作流程可以从本文链接下载。目前开放的知识训练过程中的alpha版本，即将发布更新版本。当然这也不影响我们去使用。ok,我们先来模型推理的效果~

ComfyUI使用提示：

使用t5xxl-FP16和flux1-dev-fp8模型进行28步推理，GPU显存占用为27GB。使用时的推理时间cfg=3.5为 27 秒，不使用时的推理时间cfg=1为 15 秒。Hyper-FLUX-lora可用于加速推理。
control-strength您可以尝试调整（降低）参数control-end-percent，cfg以达到更好的效果。

以下示例使用control-strength= 0.9 & control-end-percent= 1.0 & cfg= 3.5

模型介绍

该模型在 12M laion2B 和分辨率为 768x768 的内部源图像上进行训练。推理在此大小下表现最佳，而其他大小则产生次优结果。
建议的 controlnet_conditioning_scale 为 0.9 - 0.95。

注意：这只是训练过程中的alpha版本，即将发布更新版本。

效果演示

与 SDXL-Inpainting 的比较

与SDXL-Inpainting相比，从左到右分别为输入图像 | 蒙版图像 | SDXL 修复 | 本文方法。

与Diffusers一起使用

步骤1：安装扩散器

pip install diffusers==0.30.2

步骤2：从github克隆repo

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

步骤3：修改image_path、mask_path，提示并运行.

python main.py

如何学习Comfyui？

ComfyUI 和大家熟知的 WebUI 一样，都是 Stable Diffusion 的一种用户界面，一句话，一张图，随时随地创作任何内容。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的Comfyui资料包括Comfyui入门学习思维导图、商业级Comfyui工作流、视频教程、实战学习等录播视频免费分享出来。