ComfyUI：超强光照控制插件 IC-Light 深度解析

爱绘画的彤姐

已于 2024-12-30 19:27:02 修改

阅读量1.5k

点赞数 19

文章标签：人工智能 stable diffusion AIGC AI工具 IClight 光影 lora

于 2024-11-21 12:00:22 首次发布

本文链接：https://blog.csdn.net/A2421417624/article/details/143939379

版权

“光照” 是构成图像的核心要素之一，它影响着画面的风格、情绪及质感。在Stable Diffusion中，生成真实自然的光照效果对全新图像来说并不困难。然而，将已有主体融入新背景并确保两者的光照一致性，是决定它们是否能自然融合的关键，这对于Stable Diffusion的原生功能来说是一个挑战。那么，有没有更好的解决方法呢？

本文将详细介绍一款强大的光照控制插件 —— IC-Light。

一、什么是 IC-Light？

IC-Light（Imposing Consistent Light）是一种用于**操控图像照明**的技术。它通过捕捉背景图的光照信息来训练模型，并基于这些信息重新调整主体的光照，最后对整体图像进行微调，使其自然融合。

目前发布了两款模型：

text-conditioned relighting model

根据文本提示生成背景图后，IC-Light 根据背景图的光照信息重新调整主体的光照，最终实现自然融合。

background-conditioned model

手动输入一张背景图后，IC-Light 根据背景图的光照信息重新调整主体的光照，最终实现自然融合。

二、 IC-Light的特点与优势

1. 良好的主体特征保留

2. 主体光照自然且真实

3. 主体与背景自然融合

三、IC-Light 的工作流程

第一阶段：将光照表示模块集成到扩散模型中，利用背景图像的光照信息进行训练。

第二阶段：将背景光照特征与环境贴图对齐，以提高物理准确性。

第三阶段：通过新数据模拟流在获得的真实图像数据集上对模型进行精细调整。

四、IC-Light 如何在 ComfyUI 中使用

IC-Light在ComfyUI中通过不同的节点进行使用，不同的Checkpoint模型对应的节点也有所不同。

ComfyUI-IC-Light（SD 1.5）

节点下载扫下图：

模型下载

模型下载：

iclight_sd15_fc.safetensors：无背景图输入时使用，以文本和前景为条件，可以使用初始潜噪声去影响打光。
iclight_sd15_fcon.safetensors：无背景图输入时使用，训练时使用了offset noise。受提示语的影响比 “iclight_sd15_fc.safetensors” 更强。
iclight_sd15_fbc.safetensors：有背景图输入时使用，以文本、前景和背景为条件。

工作流

由于IC-Light主要依赖背景图来控制光照，因此可以根据获取背景图的方式分为三种工作流：

基于原始图背景
重新生成背景
导入背景

1. 基于原始图背景

此工作流仅通过提示语改变背景，然后根据新背景的光照信息调整主体，最终实现自然融合。

此工作流的特点：

背景构图受原始图约束
简单提示词描述即可
无法精准控制光照方向
主体颜色变化大
图像整体融合自然

2. 重新生成背景

此工作流需要使用蒙版，重新生成背景后，根据生成后的背景光照信息调整主体，最终实现自然融合。

此工作流的特点：

背景可依从提示词完全改变
对提示语的要求更高
无法精准控制光照方向
主体颜色变化大
图像整体融合自然

如下图所示，过于简单的提示语无法使主体与背景更好地融合。

3. 导入背景

此工作流通过输入背景图，作为光照信息采集样本，由此调整主体，最终实现自然融合。输入背景图的方式可分两种：

通过输入渐变背景图，可精准控制光照方向和颜色：

也可以导入实景背景图来引导前景光照，但由于前景和背景未经采样重塑，融合效果欠佳，而且需要精细的蒙版，因此不推荐使用：

总结

IC-Light 的优势体现在以下几个方面：良好的主体特征保留、真实自然的光照生成，以及主体与背景的自然融合。然而，你可能会注意到，主体的固有色会发生变化，这在某些应用场景下可能是不可接受的，例如电商产品图。为了解决这一问题，后续文章将介绍如何通过引入 IP-Adapter 等插件进行优化，敬请期待。

写在最后

常用工作流已经给各位小伙伴打包好了，可以按需自取，无偿分享。
在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述