看论文系列：Fast End-to-End Trainable Guided Filter

最新推荐文章于 2024-08-09 11:24:10 发布

历青

最新推荐文章于 2024-08-09 11:24:10 发布

阅读量2.7k

点赞数

分类专栏：论文笔记文章标签：计算机视觉图像处理

本文链接：https://blog.csdn.net/weixin_43913700/article/details/121314908

版权

论文笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Fast End-to-End Trainable Guided Filter（快速端对端可训练引导滤波器）

abstract

在摘要中提到了FCNs（全卷积网络），全卷积网络是一种端对端的图像分割方法。
FCNs的核心问题在于处理联合上采样的能力有限，因此提出了引导滤波层（guided filtering layer），引导滤波层用于在给定低分辨率输出和高分辨率引导图的情况下高效地生成高分辨率的输出。
为了进一步利用端对端的训练，插入了一个可训练的转化函数用于生成特定于任务的引导图。
还在以上基础上提出了DGF（深度引导滤波网络）。

Ⅰ introduction

稠密像素预测
稠密像素预测可以用于平滑图像，保留边缘，增强图像细节，根据参考图像转移风格，图像去雾，全局色调调整等。通过FCNs可以实现稠密像素预测并达到较好的性能，但是正如摘要中所说的那样，在高分辨率输入图像上，FCNs有着巨大的计算复杂度以及内存占用，在实际应用中有着一定的限制，因此这篇论文是为了加速FCNs，首先对输入图像进行下采样，然后在低分辨率下执行算法，之后对结果进行上采样操作，返回原始分辨率，而困难在于如何将低分辨率的输出恢复到具有丰富细节和锐利边缘的原始分辨率，也就是联合上采样问题，解决问题的方法在于将引导滤波器重新构造成一个完全可微的构造块，（1）与FCNs联合训练；（2）通过可学习参数适应不同的任务；（3）由高分辨率真实值进行直接监督（ground truth:在监督学习中是真实值的标签，一般用于误差估计和效果评价）。
剩下的部分简要介绍了引导滤波层和DGF，以及论文的主要贡献。

Ⅱ related work

A 、联合上采样
在这部分中叙述了联合双边上采样（已读）、双边引导上采样（已读）的内容

B 、基于深度学习的图像滤波器
深度学习在图像处理方面的应用：去噪，去马赛克，去模糊，抠图，去雾，上色。
chen 提出的上下文聚合网络来加速各种各样的图像处理，而这篇论文的方法是对这个方法的补充，可以提供更好的结果。

Ⅲ guided filtering layer

在这里插入图片描述
（1）式中描述的是低分辨率输出O作为输入与低分辨率图像I之间的线性关系。Wk是低分辨率输入图像Il上的第k个局部正方形窗口，而Ii为Wk内的第i个像素。

（2）式中的Ah和bh是对（1）式Al和bl上采样得到的，最后通过（2）中的线性变换得到高分辨率输出Oh。（✳是对应元素逐个相乘）

算法Ⅰ：
输入：低分辨率图像Il、高分辨率图像Ih、低分辨率输出Ol，高分辨率输出导数∂Oh
输出：所有输入的梯度
梯度通过引导滤波层的传播方程如算法1所示。通过将每个算子转化为一个可微函数，Oh的梯度通过计算图反向传播到Ol、Il和Ih，实现了FCNs和制导滤波层的联合训练，并得到了高分辨率目标的直接制导。因此，FCNs可以学习生成更适合导滤层的Ol来恢复Oh。
在这里插入图片描述
Il和Ol经过均值滤波器和局部线性模型得到Al和bl，Al和bl通过双线性上采样得到Ah和bh，Ih、Ah和bh作为输入通过Linear Layer得到Oh，r为均值滤波器的半径（默认为1），∈为局部线性模型的正则项（默认为1e-8）。转换函数F（I）将Ih和Il转换为特定任务的引导图Gh和Gl，F（I）是由两个卷积层组成的FCN块，这两个卷积层之间是自适应归一化层和 leaky ReLU层（有关激活函数 ReLU 和leaky ReLU 的链接），两个卷积层的核的大小设置为1X1的，第一个卷积层通道大小默认设置为16。

引导滤波层的改进——卷积引导滤波层，在引导滤波层的基础上引入了可学习参数，并将非参数运算替换到了卷积层。卷积引导滤波层的结构如图所示：在这里插入图片描述
与引导滤波层的结构图相比，卷积引导滤波层的结构图中可以看到引入了扩张卷积来代替均值滤波的 fμ，由点态卷积组成的卷积块代替了局部线性模型，∈ 被移除，r 代表扩张卷积中的扩张率。

Ⅳ deep guided filtering network (深度引导滤波网络 DGF)

DGF的架构图如下图所示：
在这里插入图片描述
DGF 的特点在于通过将提出的层与FCNs按照从粗到细的方式进行集成，凭借更低的计算成本和内存使用产生高分辨率且保边的输出。
首先对Ih进行下采样得到低分辨率图像Il，然后将完全卷积网络FCN Cl(Il) 应用于Il ，生成相应的低分辨率图像Ol，最后用Ol、Il、Ih作为输入，由引导滤波层生成高分辨率输出图像Oh。整个网络可实现端对端训练，可以从头开始学习。

完全卷积网络Cl(Il)
DGF的变体的区别（DGFs DGFb DGFcb DGFc）

DGF变体名称	特点
DGFs	原引导滤波，不进行任何训练
DGFb	Guided Filtering Layer
DGFcb	Convolutional Guided Filtering Layer
DGFc	不仅是端对端训练，还可以调整可训练的卷积权值和可学习的F(l)

目标函数
定义为L（Oh, Th），其中Th为给定对应目标的高分辨率输出。通常，可以通过直接使用训练C（l）的目标函数来训练DGF，无需进行任何调整。

Ⅴ实验：图像处理任务

使用DGF克隆了五个常用的图像处理算子：
（1）L0平滑算子（L0 smoothing operator）
（2）细节操作算子（detail manipulation operator）
（3）风格转移算子（style transfer operator）
（4）非局部去雾算子（non-local dehazing operator）
（5）图像润色算子（image retouching operator）
用这五个算子对输入图像进行处理，生成真实值标签用于监督学习。
利用输入/真实值标签去监督训练DGF，克隆相应的图像处理算子。

图像处理算子	特点	备注
L0 smoothing	锐化主要边缘的同时通过使用梯度最小化消除次要边缘是行之有效的	采用官方实现和默认参数
detail manipulation	通过在多个尺度上增强特征来增强图像	构造CIELAB亮度通道的三层分解（基础层b和两个细节层d1、d2），由b、d1、d2的非线性组合得到结果图像，使用的同样是官方实现和默认参数，最终结果通过平均三幅图像得到最终输出
style transfer	将参考图像的摄影风格转换为输入图像	使用默认设置和默认参考图像的官方实现
non-local dehazing	采用非局域先验去除输入图像中大气吸收和散射的影响	使用默认参数的官方实现
image retouching	通过全局色域调整，自动提高输入图像的审美质量

DGF的一些细节
（1）使用上下文聚合网络(CAN)作为C（ll）对五个算子进行处理。（CAN相关介绍的链接）
（2）Cl(ll)和F(I)的详细架构如下图
在这里插入图片描述
（3）adaptNorm代表chen等人提出的自适应归一化。
（4）Leaky ReLU作为非线性，其负斜率取0.2。
（5）对于目标函数，遵循之前所作工作的规定采用L2范数损失函数。（L1、L2、smooth L1三类损失函数）