[ComfyUI]Flux:新添深度和线条3款CN成员,工业级可控性即将到来,继LORA后的生态最后一公里

ComfyUI与Flux的结合,在AI艺术创作领域开启了新的篇章。本文将介绍Flux新添的深度和线条CN成员,以及它们如何提升艺术创作的可控性和创意表达。

Flux ControlNet模型简介

在官方推出LORA模型训练方案后,社区LORA模型如雨后春笋正在日益增多。对于Flux模型ControlNet模型这将是剩下最后一款可控性的里程碑,因此XLabs-AI团队在LORA和ControlNet的训练备受社区关注。

推荐分辨率

XLabs-AI团队提到每个ControlNet都是在 1024x1024 分辨率上进行训练。然而,官方推荐的使用分辨率为:

  • • 深度(Midas):1024x1024 分辨率生成深度图像

  • • 线稿(Canny,HED):使用 768x768 分辨率生成 Canny 和 HED 图像以获得更好的结果。

XLabs-AI Flux ControlNet演示

XLabs-AI在其主页提供了这3类flux ControlNet的演示示例如下所示:

深度 (Midas)

HED

另外,由InstantX团队开发的多合一ControlNet模型也在路上了,待ComfyUI的支持,笔者将在后续文章中逐步的进一步测试。(需要模型和相关插件的同学可自行扫描获取)

Flux ControlNet模型体验

当前最新版本的ComfyUI已支持Flux ControlNet模型的体验(Canny文章中提到的修复分支已合并主干分支),同时还需要通过插件管理器Git安装x-flux-comfyui该插件。其中需要将模型放置到 ComfyUI/models/xlabs/controlnets目录下,如本地不存在该目录可以手工新建可以,也可以首次运行自动创建目录。

如遇见新版插件管理器安全问题,可以设置配置文件或选择手动安装。

工作流界面

关于Flux模型本地ComfyUI工作流体验参见之前文章:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏.

工作流位于目录**\ComfyUI\custom_nodes\x-flux-comfyui\workflows**下。

本地体验涉及工作流和模型在LIBLIBAI上可下载使用:

**额外需要特别注意点**:
  • • 本次工作流使用的插件为全新****XLabs-AI官方团队提供的全新Flux插件

  • • 本次工作流使中采样器似乎存在bug,设置的宽高参数刚好相反,同时批量图片size不生效

  • • 该工作流也支持LORA和ControlNet模型运行。需要将模型分别放置到ComfyUI/models/xlabs/lorasComfyUI/models/xlabs/controlnets目录。

  • • 如果是手工复制x-flux-comfyui插件的,请确保本地运行了python setup.py命令。

下面案例总所使用的原图为文章开始图像作为输入图像

01. 深度(Midas)- 瓶中世界-小桥流水人家

深度模型整体体验效果相对完善比较多,已可用于实际绘图。

The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.

02. 深度(Midas)- 超人手臂

Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with  details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.

03. 硬边缘(Canny)- 瓶中世界-小桥流水人家

Canny硬边缘也算完成度较高,可用于实际绘图。相比之前ComfyUI插件效果改善很大。

The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.

04. 硬边缘(Canny)- 超人手臂

Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with  details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.

05. 线条(HED)- 瓶中世界-小桥流水人家

HEAD模型在大于0.5的CN幅度出图质量容易花,下列为调整为0.4的效果。3款模型中,体验效果相对差一些。

The Chinese landscape colorful garden scenery within a glass ball is enveloped in misty clouds, with captivating light-tracing effects. mountains, water, falls,a small bridge, pavilions, a pine tree greeting visitors, and a figure wearing a conical hat and holding a staff as they ascend the mountain, as well as winding mountain paths. The entire composition presents an exquisite level of detail and aesthetic appeal. The entire scene is set against the backdrop of a pleasing bonsai.

06. 线条(HED)- 超人手臂

Photorealistic image of a man with a cactus for his arm, only one arm transformed. The man's transformed arm looks like acactus with  details. He is standing with his cactus arm visible. The background shows a natural environment with greenery and a bright sky.

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

  • 19
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值