Double DIP ——一种无监督层图像分割 AI 技术

雷锋网 AI 科技评论按：每月《Computer Vision News》都会选择一篇关于计算机视觉领域研究成果的论文进行回顾。今年三月份，他们选择了由 Yossi Gandelsman，Assaf Shocher 和 Michal Irani 三位学者（下文中所提到的作者，均指以上三位学者）共同完成的关于 Double-DIP 模型的论文，其中详细介绍了基于耦合的深度图像先验网络对单个图像进行无监督层分割这一技术。

概况

许多看似无关的计算机视觉任务可以被视为图像分割为不同的层的特殊情况。举两个突出的例子：图像分割——分割成背景层和前景层的区域；图像去雾——分割为清晰图层和有雾图层。在该论文中，作者提出了一种基于耦合的「深度图像先验」（DIP）网络对单个图像进行无监督层分割的统一框架。

被 CVPR 2018 会议接收的深度图像先验（DIP）网络，是一种可以用来对单个图像的低级统计数据进行生成的结构，而且只需要在单张图像上进行训练。而在论文中，作者向我们展示了如何通过耦合多个 DIP 网络得到一个强大的工具，来将图像分割为其基本组成，从而使其适用于各类任务。正因为所得数据来自于混合层的内部，相比其各个组成部分的数据更复杂且更具代表性，这使其多功能适用性具有实现的可能。作者们认为，模型能胜任多种任务的原因是，相比于在不同的层上各自进行，多种不同的层的内部统计特性更为鲁棒，也有更好的表征能力。

作者向我们展示了该方法在各类计算机视觉任务上的运用，比如：水印去除，前景/背景分割，图像去雾以及视频中的透明度分离等。在没有提供任何额外数据的情况下，只需要在单张图像上进行训练，就可以完成以上所有的任务。

关于「图像分割的统一框架」

由三个不同任务重新定义的原图分割，可以视为简单基本层的混合，如下图所示，图像分割、图像去雾、透明度分离这三种任务都可以看作是，先把原始图像拆分成一些基本层，然后再把这些层重新混合。

这种方法将图像分割成若干基本层，并提供一个统一的框架来对大量明显不同且无关的计算机视觉任务进行处理。