Burst Image Restoration and Enhancement 论文笔记

前言

Burst Image Restoration(突发图像恢复任务)是解决由于手持设备不稳定或者在运动的过程中产生的图像模糊、鬼影等问题，论文提出的方法可以将多个突发帧模糊图片有效进行结合，产生高质量的图像，从而达到去模糊的效果。论文中将这个方法应用在图像超分辨、低亮度下图像增强和去噪实验，都取得了非常不错的效果。本位创新点主要有三个：①提出了一个多帧边缘增强和校准网络，可以将多个模糊图片进行去模糊；②提出了一个多帧特征融合网络；③提出了一种用于渐进融合和提升的自适应分组上采样模块。

网络结构

提出的网络是一个多阶段的过程，主要分为三个阶段，第一个阶段是对多帧模糊图像进行去噪，第二个阶段是对多帧图像进行特征融合，第三个阶段是进行上采样从而应用于超分辨问题。

 Edge Boosting Feature Alignment Module

如上图，整个去噪校准模块有一个子模块，FPM负责对模型进行去噪，主要组成还是以CNN为主。

Pseudo-Burst Feature Fusion Module

 特征融合，其实就是将多张已经去噪校准之后的图片进行特征融合，先将每张图片分解成特征向量，生成伪突发特征图，然后经过多尺度特征提取之后将特征进行融合。

Adaptive Group Upsampling Module

上采样模块的目的就是从低分辨率的特征图中生成高分辨率的图片。上图b就是AGU模块，每一层分辨率变为原来的两倍，每个上采样单元如上图c，将特征分为四组，进行卷积和叠加最后得到高分辨率图像。

实验

实验部分主要分为三个部分，分别对超分辨、低亮度增强和降噪问题进行了实验。

超分辨

主要有两个数据集，第一个是利用相机的合成数据，另外一个是相机真实拍摄的数据：①Synthetic Burst数据集包括46,839个用于训练和300个用于验证的原始突发图片集，每个图片集有14个低分辨率的原始图片，每张是48×48分辨率，是由一张原始的RGB图像进行使用反转相机管道转换到原始空间，然后随机旋转和平移来生成的。②BurstSR数据集由200个图片集每个也是包含14张图片，是用用智能手机相机和单反相机捕捉LR图像和相应的(地面真实)HR图像。从200个突发图片集中，分成了5405个patch用于训练，882个用于验证。每个输入裁剪的大小为80×80像素。

 低亮度增强

SID数据集由在微光条件下用短相机曝光捕获的输入原始爆发图像及其对应的地面真实sRGB图像组成。SONY子集包含161、20和50个不同的突发序列，分别用于训练、验证和测试。只用了一层的AGU，因为该任务不需要上采样增大分辨率。

突发帧降噪

在原始图像上加入一定的高斯噪声，进行训练验证。

 超分辨消融实验

消融实验主要对比了所有模块中的重要性，但从结果来看，DAM和AGU对PSNR比较重要，第二个消融实验是在第一个或者第二个阶段使用其他的方法来看效果，目前来看都不如BIPNet结构得出的结果好。

总结

本文提出了一种新的多阶段方法来解决由于手持设备或者运动导致多帧图像模糊的问题，可以对图像进行去噪、低亮度增强和超分辨，区别于以往的直接对单张图像进行超分辨、去噪的模型来说，输入需要多帧当前图像，图像之间需要一定的关联性，但是出来的结果对比传统的方法来说确实也更加好，个人认为可能更偏向于应用端。虽然文中说模型参数其实不大，但是，其实模型上来说还比较复杂，分了三个阶段，每个阶段都有自己对应的任务，不过如果将其中的某个阶段拆开和其他的单图超分辨和去噪进行结合，可以尝试有没有更加好的结果。在模型设计来说原创性还是比较多，可以进行参考，尤其是上采样模块。但是文中给出的解释不多，需要自己去研究源码。