今天介绍一个Controlnet作者lllyasviel
的最新作品,一款用于操控图像光照的项目:IC-Light
,模型接受前景图像作为输入打光控制。作者解释到: IC-Light
代表 “Imposing Consistent Light”。当前该项目已经发布了两种类型的模型:文本条件模型和背景条件模型。
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/764c7bd22dff4febb4c2b5b5eb3bc00a.png)
IC-Light推理演示
如果想在线体验的同学,可以直接访问在线链接体验:https://huggingface.co/spaces/lllyasviel/IC-Light
本文中采用的推理代码已放置到github,也可以在线运行体验:https://github.com/greengerong/awesome-llm/blob/main/colab/sdxl/IC_Light.ipynb
文本条件模型体验
使用IC-Light
文本条件模型的部署体验代码如下所示:
!git clone https://github.com/lllyasviel/IC-Light.git
%cd /content/IC-Light
!pip install -q torch torchvision --index-url https://download.pytorch.org/whl/cu121
!pip install -q -r requirements.txt
# 最后一行修改为:block.launch(server_name='0.0.0.0',share=True)
!python gradio_demo.py
当看到如下界面输出时候则表示已运行成功:
界面首页如下所示:
资源使用情况如下所示:
以下测试输入原始图片如下:
01
-
• 光照偏好:Top Right
-
• 提示:
beautiful woman, detailed face, sunshine from window
02
-
• 光照偏好:Left Right
-
• 提示:
beautiful woman, detailed face, sunset over sea
03
-
• 光照偏好:Left Right
-
• 提示:
beautiful woman, detailed face, light and shadow
背景条件模型体验
使用IC-Light
文本条件模型的部署体验代码如下所示:
%cd /content/IC-Light
!# 最后一行修改为:block.launch(server_name='0.0.0.0',share=True)
!python gradio_demo_bg.py
界面首页如下所示:
以下本案例测试输入原始图片如下:
01
02
03
04
官方演示案例
文本条件模型
01
-
• 光照偏好:Left
-
• 提示:
英文:beautiful woman, detailed face, warm atmosphere, at home, bedroom
中文:美丽的女人,详细的面孔,温暖的氛围,在家里,卧室
02
-
• 光照偏好:Left
-
• 提示:
英文:beautiful woman, detailed face, sunshine from window
中文:美丽的女人,详细的面孔,窗户射进的阳光
03
-
• 光照偏好:Left
-
• 提示:
英文:beautiful woman, detailed face, neon, Wong Kar-wai, warm
中文:美女,细节脸,霓虹,Wong Kar-wai,温暖
04
-
• 光照偏好:Right
-
• 提示:
英文:beautiful woman, detailed face, sunshine, outdoor, warm atmosphere
中文:美丽的女人,细致的面容,阳光,户外,温馨的氛围
05
-
• 光照偏好:Left
-
• 提示:
英文:beautiful woman, detailed face, sunshine, outdoor, warm atmosphere
中文:美丽的女人,细致的面容,阳光,户外,温馨的氛围
06
-
• 光照偏好:Right
-
• 提示:
英文:beautiful woman, detailed face, sunshine from window
中文:美丽的女人,精致的脸庞,窗外的阳光
07
-
• 光照偏好:Left
-
• 提示:
英文:beautiful woman, detailed face, shadow from window
中文:美丽的女人,精致的脸庞,窗外的阴影
08
-
• 光照偏好:Left
-
• 提示:
英文:Buddha, detailed face, natural lighting
中文:佛像,脸部细致,采光自然
背景条件模型
背景条件模型使用简单的提示语就可以实现用例图像生成,例如简单提示语: handsome man, cinematic lighting
。
更多演示如下:
一致性光照(Imposing Consistent Light)
在HDR空间中光照具有一个属性,即所有光传输都是独立的。因此,不同光源的外观混合等同于混合光源的外观:
例如上图中的光照混合为例,“appearance mixture” 和 “light source mixture” 的两张图像是一致的(理想情况下,在 HDR 空间中是数学上等价)。作者在训练光照模型时强加了使用潜在空间中的 MLPs的一致性。并且最终结果展示出,模型能够产生高度一致的光照,以至于不同的光照甚至可以合并为normal maps!
上图中演示从左到右分别是模型输入、模型输出光照效果、分割的阴影图像和合并的normal maps。
以下为展示了一些更多的图像演示案例:
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】