ComfyUI与Flux的结合,在AI艺术创作领域开启了新的篇章。本文将介绍Flux新添的深度和线条CN成员,以及它们如何提升艺术创作的可控性和创意表达。
Flux ControlNet模型简介
在官方推出LORA模型训练方案后,社区LORA模型如雨后春笋正在日益增多。对于Flux模型ControlNet模型这将是剩下最后一款可控性的里程碑,因此XLabs-AI团队在LORA和ControlNet的训练备受社区关注。
推荐分辨率
XLabs-AI团队提到每个ControlNet都是在 1024x1024 分辨率上进行训练。然而,官方推荐的使用分辨率为:
-
• 深度(Midas):1024x1024 分辨率生成深度图像
-
• 线稿(Canny,HED):使用 768x768 分辨率生成 Canny 和 HED 图像以获得更好的结果。
XLabs-AI Flux ControlNet演示
XLabs-AI在其主页提供了这3类flux ControlNet的演示示例如下所示:
深度 (Midas)
HED
另外,由InstantX团队开发的多合一ControlNet模型也在路上了,待ComfyUI的支持,笔者将在后续文章中逐步的进一步测试。(需要模型和相关插件的同学可自行扫描获取)
Flux ControlNet模型体验
当前最新版本的ComfyUI已支持Flux ControlNet模型的体验(Canny文章中提到的修复分支已合并主干分支),同时还需要通过插件管理器Git安装x-flux-comfyui该插件。其中需要将模型放置到 ComfyUI/models/xlabs/controlnets目录下,如本地不存在该目录可以手工新建可以,也可以首次运行自动创建目录。
如遇见新版插件管理器安全问题,可以设置配置文件或选择手动安装。
工作流界面
关于Flux模型本地ComfyUI工作流体验参见之前文章:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏.
工作流位于目录**\ComfyUI\custom_nodes\x-flux-comfyui\workflows**下。
本地体验涉及工作流和模型在LIBLIBAI上可下载使用:
**额外需要特别注意点**:
-
• 本次工作流使用的插件为全新****XLabs-AI官方团队提供的全新Flux插件。
-
• 本次工作流使中采样器似乎存在bug,设置的宽高参数刚好相反,同时批量图片size不生效。
-
• 该工作流也支持LORA和ControlNet模型运行。需要将模型分别放置到ComfyUI/models/xlabs/loras和ComfyUI/models/xlabs/controlnets目录。
-
• 如果是手工复制x-flux-comfyui插件的,请确保本地运行了python setup.py命令。
下面案例总所使用的原图为文章开始图像作为输入图像。
01. 深度(Midas)- 瓶中世界-小桥流水人家
深度模型整体体验效果相对完善比较多,已可用于实际绘图。
The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.
02. 深度(Midas)- 超人手臂
Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.
03. 硬边缘(Canny)- 瓶中世界-小桥流水人家
Canny硬边缘也算完成度较高,可用于实际绘图。相比之前ComfyUI插件效果改善很大。
The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.
04. 硬边缘(Canny)- 超人手臂
Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.
05. 线条(HED)- 瓶中世界-小桥流水人家
HEAD模型在大于0.5的CN幅度出图质量容易花,下列为调整为0.4的效果。3款模型中,体验效果相对差一些。
The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.
06. 线条(HED)- 超人手臂
Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.
资料软件免费放送
次日同一发放请耐心等待
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】