Controlnet作者新作之图像打光控制模型，最全推理部署指南

最新推荐文章于 2024-08-30 11:53:53 发布

AIGC小王

最新推荐文章于 2024-08-30 11:53:53 发布

阅读量682

点赞数 18

文章标签： stable diffusion midjourney 学习人工智能 AI作画 AIGC 人工智能作画

本文链接：https://blog.csdn.net/text2201/article/details/140291436

版权

大家好我是小王同学！！！

今天介绍一个Controlnet作者lllyasviel的最新作品，一款用于操控图像光照的项目：IC-Light ，模型接受前景图像作为输入打光控制。作者解释到： IC-Light 代表 “Imposing Consistent Light”。当前该项目已经发布了两种类型的模型：文本条件模型和背景条件模型。

在这里插入图片描述

IC-Light推理演示

如果想在线体验的同学，可以直接访问在线链接体验：https://huggingface.co/spaces/lllyasviel/IC-Light

本文中采用的推理代码已放置到github，也可以在线运行体验：https://github.com/greengerong/awesome-llm/blob/main/colab/sdxl/IC_Light.ipynb

文本条件模型体验

使用IC-Light 文本条件模型的部署体验代码如下所示：

!git clone https://github.com/lllyasviel/IC-Light.git  
%cd  /content/IC-Light  
!pip install -q torch torchvision --index-url https://download.pytorch.org/whl/cu121  
!pip install -q -r requirements.txt  
# 最后一行修改为：block.launch(server_name='0.0.0.0',share=True)  
!python gradio_demo.py

当看到如下界面输出时候则表示已运行成功：

界面首页如下所示：

资源使用情况如下所示：

以下测试输入原始图片如下：

01

• 光照偏好：Top Right
• 提示：

beautiful woman, detailed face, sunshine from window

02

• 光照偏好：Left Right
• 提示：

beautiful woman, detailed face, sunset over sea

03

• 光照偏好：Left Right
• 提示：

beautiful woman, detailed face, light and shadow

背景条件模型体验

使用IC-Light 文本条件模型的部署体验代码如下所示：

%cd  /content/IC-Light  
!# 最后一行修改为：block.launch(server_name='0.0.0.0',share=True)  
!python gradio_demo_bg.py

界面首页如下所示：

以下本案例测试输入原始图片如下：

01

02

03

04

官方演示案例

文本条件模型

01

• 光照偏好：Left
• 提示：

英文：beautiful woman, detailed face, warm atmosphere, at home, bedroom
中文：美丽的女人，详细的面孔，温暖的氛围，在家里，卧室

02

• 光照偏好：Left
• 提示：

英文：beautiful woman, detailed face, sunshine from window
中文：美丽的女人，详细的面孔，窗户射进的阳光

03

• 光照偏好：Left
• 提示：

英文：beautiful woman, detailed face, neon, Wong Kar-wai, warm
中文：美女，细节脸，霓虹，Wong Kar-wai，温暖

04

• 光照偏好：Right
• 提示：

英文：beautiful woman, detailed face, sunshine, outdoor, warm atmosphere
中文：美丽的女人，细致的面容，阳光，户外，温馨的氛围

05

• 光照偏好：Left
• 提示：

英文：beautiful woman, detailed face, sunshine, outdoor, warm atmosphere
中文：美丽的女人，细致的面容，阳光，户外，温馨的氛围

06

• 光照偏好：Right
• 提示：

英文：beautiful woman, detailed face, sunshine from window
中文：美丽的女人，精致的脸庞，窗外的阳光

07

• 光照偏好：Left
• 提示：

英文：beautiful woman, detailed face, shadow from window
中文：美丽的女人，精致的脸庞，窗外的阴影

08

• 光照偏好：Left
• 提示：

英文：Buddha, detailed face, natural lighting
中文：佛像，脸部细致，采光自然

背景条件模型

背景条件模型使用简单的提示语就可以实现用例图像生成，例如简单提示语： handsome man, cinematic lighting。

更多演示如下：

一致性光照(Imposing Consistent Light)

在HDR空间中光照具有一个属性，即所有光传输都是独立的。因此，不同光源的外观混合等同于混合光源的外观：

例如上图中的光照混合为例，“appearance mixture” 和 “light source mixture” 的两张图像是一致的（理想情况下，在 HDR 空间中是数学上等价）。作者在训练光照模型时强加了使用潜在空间中的 MLPs的一致性。并且最终结果展示出，模型能够产生高度一致的光照，以至于不同的光照甚至可以合并为normal maps！