IC-Light：Controlnet作者新作之图像打光控制模型，最全推理部署指南

今天介绍一个Controlnet作者lllyasviel的最新作品，一款用于操控图像光照的项目：IC-Light ，模型接受前景图像作为输入打光控制。作者解释到： IC-Light 代表 “Imposing Consistent Light”。当前该项目已经发布了两种类型的模型：文本条件模型和背景条件模型。

IC-Light推理演示

如果想在线体验的同学，可以直接访问在线链接体验：https://huggingface.co/spaces/lllyasviel/IC-Light

本文中采用的推理代码已放置到github，也可以在线运行体验：https://github.com/greengerong/awesome-llm/blob/main/colab/sdxl/IC_Light.ipynb

文本条件模型体验

使用IC-Light 文本条件模型的部署体验代码如下所示：

!git clone https://github.com/lllyasviel/IC-Light.git  
%cd  /content/IC-Light  
!pip install -q torch torchvision --index-url https://download.pytorch.org/whl/cu121  
!pip install -q -r requirements.txt  
# 最后一行修改为：block.launch(server_name='0.0.0.0',share=True)  
!python gradio_demo.py

当看到如下界面输出时候则表示已运行成功：

界面首页如下所示：

资源使用情况如下所示：

以下测试输入原始图片如下：

01

• • 光照偏好：Top Right

• • 提示：

beautiful woman, detailed face, sunshine from window  

02

• • 光照偏好：Left Right

• • 提示：

beautiful woman, detailed face, sunset over sea  

03

• • 光照偏好：Left Right

• • 提示：

beautiful woman, detailed face, light and shadow  

背景条件模型体验

使用IC-Light 文本条件模型的部署体验代码如下所示：

%cd  /content/IC-Light  
!# 最后一行修改为：block.launch(server_name='0.0.0.0',share=True)  
!python gradio_demo_bg.py

界面首页如下所示：

以下本案例测试输入原始图片如下：

01

02

03

04

官方演示案例

文本条件模型

01

• • 光照偏好：Left

• • 提示：

英文：beautiful woman, detailed face, warm atmosphere, at home, bedroom  
中文：美丽的女人，详细的面孔，温暖的氛围，在家里，卧室

02

• • 光照偏好：Left

• • 提示：

英文：beautiful woman, detailed face, sunshine from window  
中文：美丽的女人，详细的面孔，窗户射进的阳光

03

• • 光照偏好：Left

• • 提示：

英文：beautiful woman, detailed face, neon, Wong Kar-wai, warm  
中文：美女，细节脸，霓虹，Wong Kar-wai，温暖

04

• • 光照偏好：Right

• • 提示：

英文：beautiful woman, detailed face, sunshine, outdoor, warm atmosphere  
中文：美丽的女人，细致的面容，阳光，户外，温馨的氛围

05

• • 光照偏好：Left

• • 提示：

英文：beautiful woman, detailed face, sunshine, outdoor, warm atmosphere  
中文：美丽的女人，细致的面容，阳光，户外，温馨的氛围

06

• • 光照偏好：Right

• • 提示：

英文：beautiful woman, detailed face, sunshine from window  
中文：美丽的女人，精致的脸庞，窗外的阳光

07

• • 光照偏好：Left

• • 提示：

英文：beautiful woman, detailed face, shadow from window  
中文：美丽的女人，精致的脸庞，窗外的阴影

08

• • 光照偏好：Left

• • 提示：

英文：Buddha, detailed face, natural lighting  
中文：佛像，脸部细致，采光自然

背景条件模型

背景条件模型使用简单的提示语就可以实现用例图像生成，例如简单提示语： handsome man, cinematic lighting。

更多演示如下：

一致性光照(Imposing Consistent Light)

在HDR空间中光照具有一个属性，即所有光传输都是独立的。因此，不同光源的外观混合等同于混合光源的外观：

例如上图中的光照混合为例，“appearance mixture” 和 “light source mixture” 的两张图像是一致的（理想情况下，在 HDR 空间中是数学上等价）。作者在训练光照模型时强加了使用潜在空间中的 MLPs的一致性。并且最终结果展示出，模型能够产生高度一致的光照，以至于不同的光照甚至可以合并为normal maps！

上图中演示从左到右分别是模型输入、模型输出光照效果、分割的阴影图像和合并的normal maps。

以下为展示了一些更多的图像演示案例：

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】