ComfyUI图片修复进阶:掌握Flux局部修复Controlnet模型秘籍!

大家好!今天我要向大家介绍一个超级酷炫的工具——ComfyUI图片修复进阶功能,特别是Flux局部修复Controlnet模型!

想象一下,你有一把魔法刷,可以修复照片中的任何瑕疵。这就是Flux局部修复Controlnet模型在ComfyUI中的作用。它可以轻松地修复图片中的局部区域,让你的照片焕然一新。

使用Flux局部修复Controlnet模型,就像是在玩一场创意游戏。你可以选择图片中的特定区域,然后让模型自动修复它。无论是去除照片中的噪点、修复破损的部分,还是改善照片的整体质量,它都能够轻松实现。

在这里插入图片描述

而且,这个工具非常容易上手。你不需要成为技术专家,只需要按照简单的步骤操作,就可以让你的照片焕发新生。

所以,如果你对图片修复感兴趣,或者想要让你的照片更加完美,那就赶紧试试ComfyUI的Flux局部修复Controlnet模型吧!它将会给你带来无尽的惊喜和乐趣!

记住,使用这个工具时,一定要保持创意和乐趣。让我们一起用ComfyUI和Flux局部修复Controlnet模型,创造出一个美丽的图片修复世界!

3-2:生成示例

  1. FLUX-Controlnet-Inpainting模型效果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  1. 与 SDXL-Inpainting 比较效果

从左到右:输入图像 | 蒙版图像 | SDXL 修复 | 阿里妈妈模型

在这里插入图片描述

_The image depicts a beautiful young woman sitting at a desk, reading a book. She has long, wavy brown hair and is wearing a grey shirt with a black cardigan. She is holding a pencil in her left hand and appears to be deep in thought. Surrounding her are numerous books, some stacked on the desk and others placed on a shelf behind her. A potted plant is also visible in the background, adding a touch of greenery to the scene. The image conveys a sense of serenity and intellectual pursuits._这幅画描绘了一位美丽的年轻女子坐在书桌前读书。她有一头长长的波浪形棕色头发,身穿灰色衬衫和黑色羊毛衫。她左手拿着一支铅笔,似乎陷入了沉思。她周围有许多书,一些堆放在桌子上,另一些放在她身后的架子上。背景中还可以看到一盆盆栽,为场景增添了一丝绿意。这幅画传达了一种宁静和追求知识的感觉。

A woman with blonde hair is sitting on a table wearing a blue and white long dress. She is holding a green phone in her hand and appears to be taking a photo. There is a bag next to her on the table and a handbag beside her on the chair. The woman is looking at the phone with a smile on her face. The background includes a TV on the left wall and a couch on the right. A chair is also present in the scene.

一名金发女子身穿蓝白相间的长裙,坐在桌子上。她手里拿着一部绿色手机,似乎正在拍照。她旁边的桌子上放着一个包,旁边的椅子上放着一个手提包。女子面带微笑地看着手机。背景包括左边墙上的电视和右边的沙发。场景中还有一把椅子。

_The image is an illustration of a man standing in a cafe. He is wearing a white turtleneck, a camel-colored trench coat, and brown shoes. He is holding a cell phone and appears to be looking at it. There is a small table with a cup of coffee on it to his right. In the background, there is another man sitting at a table with a laptop. The man is wearing a black turtleneck and a tie. There are several cups and a cake on the table in the background. The man sitting at the table appears to be typing on the laptop._图片描绘的是一名男子站在咖啡馆里。他身穿白色高领衫、驼色风衣和棕色鞋子。他拿着手机,似乎正在看手机。他的右边有一张小桌子,上面放着一杯咖啡。在背景中,还有一名男子坐在桌边,手里拿着一台笔记本电脑。这名男子身穿黑色高领衫和领带。背景中的桌子上放着几个杯子和一块蛋糕。坐在桌边的男子似乎正在用笔记本电脑打字。

_The image depicts a scene from the anime series Dragon Ball Z, with the characters Goku, Naruto, and a child version of Gohan sharing a meal of ramen noodles. They are all sitting around a dining table, with Goku and Gohan on one side and Naruto on the other. They are all holding chopsticks and eating the noodles. The table is set with bowls of ramen, cups, and bowls of drinks. The arrangement of the characters and the food creates a sense of camaraderie and shared enjoyment of the meal._图片描绘的是动漫《龙珠 Z》中的一个场景,其中悟空、鸣人和儿童版悟饭正在共享一顿拉面。他们都坐在餐桌旁,一边是悟空和悟饭,另一边是鸣人。他们都拿着筷子吃面条。桌子上摆满了拉面碗、杯子和饮料碗。人物和食物的摆放营造出一种友情和共享美食的感觉。

3-3:模型下载

(需要相关模型的同学可自行扫描获取)

在这里插入图片描述

  • 该模型在 12M laion2B 和内部源图像上进行训练,分辨率为 768x768。推理在此尺寸下表现最佳,其他尺寸则产生次优结果。

  • 建议的控制网条件尺度(controlnet_conditioning_scale)为 0.9 - 0.95。

  • 请注意:这只是训练过程中的 alpha 版本。我们准备好后会发布更新版本。

3-4:工作流下载

🎉 感谢 @comfyanonymous,ComfyUI 现已支持阿里妈妈FLUX-Controlnet-Inpainting这个局部修复模型

ComfyUI 使用技巧

  • 使用t5xxl-FP8flux1-dev-fp8模型进行 28 步推理,GPU 内存使用量为 27GB,使用 时推理时间cfg=3.5为 27 秒,不使用 时推理时间cfg=1为 15 秒,Hyper-FLUX-lora可以用来加速推理。

  • 您可以尝试调整(降低)参数control-strength、、control-end-percentcfg以获得更好的效果。

  • 建议使用control-strength= 0.9 & control-end-percent= 1.0 & cfg= 3.5

3-5:工作流实操

  1. 更新ComfyUI到最新版,启动ComfyUI。

在这里插入图片描述

  1. 打开工作流文件,会提示缺失节点。

在这里插入图片描述

  1. 安装缺失节点

在这里插入图片描述

  1. 点击缺失节点INSTALL安装,安装完成后点击重启ComfyUI

在这里插入图片描述

在这里插入图片描述

  1. 下载模型,下载后建议更名为FLUX.1-dev-Controlnet-Inpainting-Alpha.safetensors,方便识别。
  • 模型下载地址:https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha

  • 模型存放位置:models\controlnet

在这里插入图片描述

  1. 第1组,红色框:加载FLUX大模型;绿色框:加载clip模型;蓝色框:加载VAE模型。

在这里插入图片描述

  1. 第2组,红色框:加载图片,图片右键遮罩编辑器打开,添加遮罩(就是需要重绘的区域),点击SAVE TO NODE;绿色框:加载阿里妈妈的局部重绘CONTROLNET模型。模型下载地址:https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha

在这里插入图片描述

  1. 第3组,红色框:填写提示词(提示词我完整描述了原画面,原画面有三个人,我将其中一位改成了Elon Musk,这样可以实现在遮罩区域出现Elon Musk);绿色框:设置步数;蓝色框:设置生成图片大小和数量;黄色框:设置采样器。

在这里插入图片描述

  1. 第4组,等待AI出图。

在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值