IC-light-V2：Controlnet作者终于更新，基于Flux的光照调整模型，前景一致性优化

飞天小牛仔

已于 2024-12-29 16:55:57 修改

阅读量2.2k

点赞数 13

分类专栏： Stable Diffusion AIGC 文章标签：人工智能 stable diffusion AI作画 Comfyui AIGC

于 2024-11-20 18:52:13 首次发布

本文链接：https://blog.csdn.net/m0_71745258/article/details/143922627

版权

AIGC 同时被 2 个专栏收录

324 篇文章

订阅专栏

Stable Diffusion

313 篇文章

订阅专栏

背景：在很久以前IC-light发布的时候，当时就解决了很多围绕光照的现实问题，但是经过众多同学的实验，仍然存在包括一致性缺失，mask区域变动，以及部分条件下不和谐的情况，比如在交流群中讨论：

近期Control-Net作者更新了其V2版本，选择了围绕Flux来构建下游生态：

测试地址：https://huggingface.co/spaces/lllyasviel/iclight-v2

Discussion：IC-Light V2 (Flux-based IC-Light models) · lllyasviel/IC-Light · Discussion #9

预期放出的模型：

1）前景条件模型，强调保留输入图像的细节（已发布）。

2）前景条件模型，强调进行大范围修改的能力，如处理低光图像和改变硬阴影（尚未发布）。

3）前景和背景条件模型（尚未发布）。

4）与环境 HDRI 集成（尚未发布）。

缺陷：目前仅开放了huggingface 在线体验。并没有完整预训练模型。

前景条件模型：

https://huggingface.co/spaces/lllyasviel/iclight-v2

整体模型收益得益于16ch VAE、原生高分辨率和更好的训练方法，细节保存能力远高于SD1.5。

将输入输出叠加之后，可以相对明显的IC-light前后处理一致性保存的效果：

除此之外，与 SD1.5 版本的另一个重要区别是处理风格化图像的能力。SD15 IC-Light 有时会对图像样式进行过大的修改，例如：

而新模型的结果：

在风格化理解和一致性上都有比较好的表现。

不过缺陷是目前只能在huggingface-space上在线体验，并没有放出离线ckpt代码。有需求的同学可以先尝试下。

如何学习Comfyui？

ComfyUI 和大家熟知的 WebUI 一样，都是 Stable Diffusion 的一种用户界面，一句话，一张图，随时随地创作任何内容。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的Comfyui资料包括Comfyui入门学习思维导图、商业级Comfyui工作流、视频教程、实战学习等录播视频免费分享出来。