ControlNet作者重磅新作LayerDiffusion：利用扩散模型生成透明图像，比肩Adobe商用软件！...

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【扩散模型和多模态】交流群

添加微信：CVer444，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！

转载自：机器之心 | 编辑：陈萍、杜伟

有人表示：「等待已久的 AI 图像创建功能终于迎来了图层！」

尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础，但令人惊讶的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许背景或者其他图层的图像通过这些透明部分显示出来）生成领域获得的关注极少。这与市场的实际需求形成了鲜明对比。大多数视觉内容编辑软件和工作流程都是基于层的，严重依赖透明或分层元素来组合和创建内容。

来自斯坦福大学的研究者提出了一种「latent transparency（潜在透明度）」方法，使得经过大规模预训练的潜在扩散模型能够生成透明图像以及多个透明图层。 

• 论文地址：https://arxiv.org/pdf/2402.17113.pdf

• 论文标题：Transparent Image Layer Diffusion using Latent Transparency

举例来说，对于给定的文本提示（如头发凌乱的女人，在卧室里），该研究提出的方法能够生成具有透明度的多个图层。也就是说该模型不仅能根据提示生成图片，还能将前景和背景进行分层，背景丢失的信息也能很好的补充

此外，本文还采用人机交互的方式来训练模型框架并同时收集数据，最终数据集的规模达到 100 万张透明图像，涵盖多种内容主题和风格。然后，该研究将数据集扩展到多图层样本。该数据集不仅可以训练透明图像生成器，还可以用于不同的应用，例如背景 / 前景条件生成、结构引导生成、风格迁移等。

实验表明，在绝大多数情况下 (97%)，用户更喜欢由本文方法生成的透明内容，而不是以前的解决方案（例如先生成然后抠图）。当研究者将生成的质量与 Adobe Stock 等商业网站的搜索结果进行比较时，也取得了不错的成绩。

这项研究作者共有两位 Lvmin Zhang 以及 Maneesh Agrawala ，其中 Lvmin Zhang 还是 ContorlNet 的作者。

有网友表示：「能生成透明图层的意义绝不仅仅是抠图。这是现在动画、视频制作最核心的工序之一。这一步能够过，可以说 SD 一致性就不再是问题了。」

方法介绍

本文的目标是为像 Stable Diffusion (SD) 这样的大规模潜在扩散模型添加透明度支持，这些模型通常使用一个潜在编码器（VAE）将 RGB 图像转换为潜在图像，然后再将其输入到扩散模型中。在此过程中，VAE 和扩散模型应共享相同的潜在分布，因为任何重大不匹配都可能显著降低潜在扩散框架的推理 / 训练 / 微调性能。

潜在透明度：当调整潜在空间以支持透明度时，必须尽可能保留原始的潜在分布。这个看似不明确的目标可以通过一个直接的测量来确定：可以检查修改后的潜在分布被原始预训练的冻结潜在解码器解码的如何 —— 如果解码修改后的潜在图像创建了严重的人工痕迹，那么潜在分布就是不对齐或损坏的。这一过程可视化结果如下图所示：

生成多个图层：该研究进一步使用注意力共享和 LoRA 将基础模型扩展为多图层模型，如图 3-(b) 所示。图 3-(a) 为训练可视化结果。

图 4 引入了几种替代架构，以实现更复杂的工作流程。研究者可以向 UNet 添加零初始化通道，并使用 VAE（有或没有潜在透明度）将前景、背景或图层组合编码为条件，并训练模型生成前景或背景（例如，图 4-( b，d）），或直接生成混合图像（例如，图 4-（a，c））。

数据准备及其训练细节

训练数据集包括基础数据集（图 5-(a)）以及多图层数据集 （5-(b)） 。

训练设备为 4 × A100 80G NV-link，整个训练时间为一周（为了减少预算，在人工收集下一轮优化数据时暂停训练），实际 GPU 时间约为 350 A100 小时。该方法适合个人规模或实验室规模的研究，因为 350 个 GPU 小时预算通常在 1K 美元内。

 实验

图 6 展示了使用单图像基础模型生成的图像定性结果。这些结果展示了该模型可以生成原生透明图像，如生成高质量的玻璃透明度、头发、毛发、发光、火焰、魔法等效果。这些结果还证明了该模型可以泛化到不同的场景。

图 7 展示了使用具有不同主题的提示来生成图片的定性结果。每个示例会显示混合图像和两个输出层。这些图层不仅在照明和几何关系方面保持一致，而且还展示了稳定扩散的美学品质（例如，背景和前景的颜色选择，看起来和谐且美观）。

条件层生成。研究者在图 8 中展示了条件层生成结果（即以前景为条件的背景生成和以背景为条件的前景生成）。可以看到，本文的模型可以生成具有一致几何和照明效果的连贯构图。在「教堂中悬挂的灯泡」示例中，该模型尝试通过一种对称性审美设计来匹配前景。而在「坐在长登上或坐在沙发上」示例中，该模型可以推断前景和背景之间的交互，并生成相应的几何。

迭代生成。如图 9 所示，研究者可以迭代使用以背景为条件的前景生成模型，以实现构图或任意数量的层。对于每个新的层，他们将之前生成的所有层融入到一个 RGB 图像，并馈入到以背景为条件的前景模型。研究者还观察到，该模型能够在背景图像的上下文中解释自然语言，比如在一只猫的面前生成一本书。该模型展现了强大的几何构图能力，比如生成一个人坐在箱子上的组合图像。

可控生成。如图 10 所示，研究者展示了 ControlNet 等现有可控模型可以用于他们的模型，以提供丰富的功能。可以看到，本文的模型可以基于 ControlNet 信号来保留全局结构，以生成具有一致照明效果的和谐构图。研究者也通过一个「反射球」示例展示了本文的模型可以与前景和背景的内容进行交互，从而生成反光等一致性照明效果。

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

扩散模型和多模态交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-多模态和扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如扩散模型或者多模态+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看