代码:https://github.com/wuhuikai/DeepGuidedFilter
该论文将何凯明的引导滤波思想引入了深度学习。我们都知道引导滤波的引导矩阵,根据不同的任务需要手工选定。在这篇文章里,作者将引导图片作为神经网络的学习的一部分,根据不同的任务会自动学习出该引导矩阵。
在利用神经网络生成图片中,特别是高分辨率图片,一般其速度非常慢,比如pix2pix。该论文在引入引导滤波后只需要先生产低分辨率图片,然后将引导矩阵上采样,接着利用引导滤波公式就能够生产高分辨率的图片。这样一来主要计算都集中在低分辨率的图片上,高分辨图片生成的计算量就变得很少。其实在pix2pixHD中也有类似的设计,只不过不是用引导滤波。下图是论文的主要思想:
其中 Cl 是生成低分辨率图片的卷积神经网络,GF是引导滤波层,其输入是两张低分辨图片分别是 Cl 的输入和输出图片,以及高分辨率待转换图片。
高分辨率输出图片 Oh 可以用一下公式求得: