ICLR 2025满分论文,ControlNet作者新作IC-light,控制生成图像照明,代码模型已开源。

罕见!ICLR 2025 惊现了一篇满分论文,4个审稿人同时打出了[10,10,10, 10],这是什么炸裂的存在?!这就是ControlNet的作者张吕敏,继ControlNet后又提出了IC-light,用来操控图像生成时的光照。

先来回顾一下敏神之前的优秀工作~

由于Stable Diffusion用于图像生成中无法精确控制图像细节,往往需要多次抽卡。不管是构图、动作、面部特征还是空间关系,SD生成的结果依然不可控制。ControlNet 的出现就好像是给 SD 了控制器,AIGC也迎来了许多商业化的工作流。也因此ControlNet获得了ICCV 2023最佳论文奖。

继ControlNet后又提出了IC-light和IC-light V2,来操控图像生成时的光照,控制生成图像照明。同时IC-Light 已在 Github 上开源并收获了 5.8k 的星标,就在刚刚,IC-Light获得了ICLR 2025 四位审稿人全满分审稿评分,不得不说敏神的技术品味真的好..

感兴趣的小伙伴们可以点击下面链接阅读之前给大家介绍过的IC-light和IC-light V2~

Controlnet作者放出新大招 IC-Light,可以操控图像生成时的光照,光照难题终于被解决了!

​IC-light V2:基于FLUX训练,支持风格化图像,细节远高于SD1.5。

IC-Light

IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。

目前,已经发布了两种类型的模型:

  • 文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。

  • 背景条件模型。给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。

IC-light V2

IC-light V2是基于 Flux 的 IC-Light 型号,具有 16ch VAE 和原生高分辨率。现在 IC-light 支持处理风格化图像,即使是油画或者动漫也没问题。从演示的效果看非常逼真。

主要模型有:

  • 前景条件模型,强调保留输入图像细节;

  • 前景条件模型,强调进行大型修改的能力;

  • 前景和背景条件模型;

  • 与环境 HDRI 集成。

相关链接

IC-light

  • 代码:https://github.com/lllyasviel/IC-Light

  • 试用:https://huggingface.co/spaces/lllyasviel/IC-Light

IC-light V2

  • 代码:https://github.com/lllyasviel/IC-Light

  • 试用:https://huggingface.co/spaces/lllyasviel/iclight-v2

### 关于 IC-LightV2 的调用方法及相关文档 IC-LightV2 是由 CN 作者开发的一个增强图像细节和质量的模型,目前可以通过特定 API 进行调用。以下是关于其调用方法、API 文档以及示例的相关信息。 #### 调用方法概述 为了成功调用 IC-LightV2 模型,通常需要完成以下几个方面的准备工作: 1. **环境搭建**: 需要确保本地或云端环境中已安装必要的依赖库,例如 PyTorch 或 TensorFlow 等框架[^2]。 2. **配置文件调整**: 类似于其他机器学习项目,在使用前可能需要对配置文件进行适当修改以适配具体需求。这一步骤可以参考通用的 API 调用指南[^1]。 3. **端口设置与服务启动**: 如果通过 RESTful API 接口访问,则需确认服务器端已经开启并监听指定端口号;客户端则应按照既定协议发送请求数据包。 4. **测试脚本编写与执行**: 编写简单有效的单元测试来验证整个流程是否正常运作至关重要。这部分同样可以在标准教程里找到相应指导。 #### 示例代码片段 下面给出了一段基于 Python 实现的简易调用例子: ```python import requests url = 'http://your_api_endpoint_here' # 替换为实际的服务地址 headers = {'Content-Type': 'application/json'} data = { "input_image": "/path/to/input/image.jpg", } response = requests.post(url, json=data, headers=headers) if response.status_code == 200: output_path = '/path/to/save/output/' with open(output_path + 'output.png', 'wb') as f: f.write(response.content) else: print(f"Error: {response.text}") ``` 此段程序展示了如何利用 `requests` 库向远程 Web 服务发起 POST 请求并将返回的结果保存至本地磁盘上。 #### 官方文档链接建议 虽然当前未直接提及官方发布的完整版手册位置,但从已有资料推测,最权威的信息源应当来自原开发者团队所维护的知识库或者 GitHub 存储库页面。因此推荐尝试搜索如下关键词组合获取更多详情:“Flux Flux ICLightV2 Documentation”。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIGC Studio

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值