【AI前沿】这下真不需要渲染了！Adobe发布照片AI打光技术SynthLight

前言

❝

《圣经·创世纪》中，上帝在创造世界之初，面对黑暗混沌的宇宙，发出了第一道神谕：“要有光！”（原文：Let there be light!） 于是，光便出现了，驱散了黑暗，开启了万物生长的序幕。

❞

可想而知，“光”对于真实世界是最基础的条件，那么在 AI 图像领域，也一样的。
SynthLight技术介绍

作者

1. 「耶鲁大学」

2. 「Adobe Research」

SynthLight 使用环境贴图照明重新照亮人像。通过学习重新渲染合成人脸，我们的扩散模型在真实人像照片上产生逼真的照明效果，包括颈部明显的投射阴影和皮肤上自然的镜面高光。

项目地址

**「摘要」** --------

---

我们介绍了 SynthLight，一种用于人像重新照明的扩散模型。我们的方法将图像重新照明视为重新渲染问题，其中像素会根据环境照明条件的变化而转换。使用基于物理的渲染引擎，我们合成了一个数据集，以模拟在不同照明条件下使用 3 D 头部资产的照明条件转换。我们提出了两种训练和推理策略，以弥合合成图像和真实图像领域之间的差距：

1. 利用没有照明标签的真实人像进行多任务训练；

2. 基于无分类器引导的推理时间扩散采样过程，利用输入人像更好地保留细节。我们的方法适用于各种真实照片，并产生逼真的照明效果，包括镜面高光和投射阴影，同时保留主体的身份。我们在光舞台数据上的定量实验展示了与最先进的重新照明方法相当的结果。我们在野外图像上的定性结果展示了丰富且前所未有的照明效果。

「效果」

---

「特写人像」

SynthLight 通过连续旋转环境贴图重新照亮特写人像。在合成数据上的训练帮助我们捕捉照明效果，如皮肤上的镜面高光、由于强烈背光导致的耳朵中的次表面散射、头发中的边缘效果、硬投射阴影，同时保持原始主体的身份和整个构图的和谐。

img_004_007.gif

img_004_007.gif

img_009_015.gif

img_000_003.gif

「半身人像」

我们将 SynthLight 应用于半身人像，这是一个在我们的合成数据集中不存在的领域，并发现它在这种人像上的泛化效果出奇地好。

img_002_004.gif

img_002_004.gif

「人像照明效果」

我们展示了各种有趣的人像照明效果，如头发中的边缘照明、耳朵中的次表面散射、强烈的投射阴影等！

「泛化能力」

「面部彩绘」

即使面部被彩绘，我们的方法仍然可靠地工作。尽管我们的方法仅使用合成数据进行重新照明监督。

img_001_002.gif

img_001_002.gif

img_001_002.gif

「微缩模型和雕像」

我们通过在玩具、雕像和非真实感 3 D 角色上测试 SynthLight 来对其进行压力测试，以阐明其泛化能力。我们发现，令人惊讶的是，随着照明的变化，场景中的各种物体在地板上投射出合理的阴影。

img_000_003 (1).gif

img_000_003 (1).gif

img_000_003 (1).gif

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除