Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor

Abstract
像素合并被认为是解决智能手机相机硬件限制的最突出的解决方案之一。尽管有许多优点，但这种图像传感器必须采用容易产生伪影的非拜耳滤色器阵列 (CFA) 才能实现合并功能。相反，明确地使用此类 CFA 模式执行去马赛克和去噪等基本图像信号处理 (ISP) 任务会使重建过程变得异常复杂。在本文中，我们通过引入一种新的基于学习的方法来解决这种图像传感器上联合去马赛克和去噪 (JDD) 的挑战。所提出的方法利用了深度网络中的深度和空间注意力。所提出的网络由一个多项目标函数引导，包括两个新的感知损失，以产生视觉上合理的图像。最重要的是，我们扩展了建议的图像处理管道，以全面重建和增强使用像素合并技术的智能手机相机捕获的图像。实验结果表明，该方法在定性和定量比较中明显优于现有方法。可用代码：https://github.com/sharifapu/BJDD_CVPR21。

1. Introduction
   智能手机摄像头在最近的一段时间内表现出显着的高度。然而，与数码单反相机相比，移动设备的紧凑性显着影响图像质量[15]。此外，这种不可避免的硬件限制，阻碍了原始设备制造商 (OEM) 实现图像传感器尺寸的大幅跃升。相比之下，任何相机硬件中更大传感器的存在都可以显着改善摄影体验，即使在随机照明条件下也是如此 [26]。因此，许多 OEM 已在其紧凑型设备中利用称为像素合并的像素放大技术来提供视觉上可接受的图像 [4, 43]。通常，像素合并旨在组合同质的相邻像素以形成更大的像素 [1]。因此，该设备可以利用更大的传感器尺寸向外结合实际更大的传感器。除了在具有挑战性的照明条件下利用更大的传感器尺寸外，这种图像传感器设计还具有很大的优势。其中，捕捉高分辨率内容、产生自然的散景效果、通过裁剪图像实现数字变焦等都是值得注意的。本研究将此类图像传感器表示为像素级图像传感器。
   
   图 1：像素级图像传感器的常用 CFA 模式。
   尽管在最近的智能手机（包括 Oneplus Nord、Galaxy S20 FE、小米 Redmi Note 8 Pro、Vivo X30 Pro 等）中得到了广泛使用，但从像素级图像传感器重建 RGB 图像仍然具有很大的挑战性 [18]。明确地说，像素合并技术必须在图像传感器上使用非拜耳 CFA [22, 18] 和传统拜耳 CFA [5] 以利用合并功能。图 1 描述了最近相机传感器中最常用的 CFA 模式组合。遗憾的是，非拜耳 CFA（即 Quad Bayer CFA [19]）必须适用于像素级图像传感器，众所周知，在从给定的 CFA 模式 [18] 重建图像时容易产生视觉上令人不安的伪影。因此，在容易出现伪影的 CFA 上结合基本的低级 ISP 任务（例如去噪和去马赛克）会使重建过程变得非常复杂。
   相反，基于学习的方法已经说明了在执行图像重建任务方面的显着进展。此外，它们还展示了将低级任务（例如去马赛克）与去噪相结合的显着优势 [12、21、25、9]。最值得注意的是，最近一些基于卷积神经网络 (CNN) 的方法 [35, 16] 试图模仿复杂的移动 ISP，并证实感知质量比传统方法有显着改善。这种计算摄影的进步激发了这项研究，以解决像素级图像传感器的挑战性 JDD 并超越。
   本研究介绍了一种新的基于学习的方法，用于在像素箱图像传感器的常用 CFA 模式（即 Quad Bayer CFA [19] 和 Bayer CFA [5]）中执行 JDD。所提出的方法在深度架构中利用空间和深度特征关注 [40, 14] 来减少视觉伪影。在本文的其余部分，我们将提出的深度表示为像素-bin 图像处理网络 (PIPNet)。除此之外，我们引入了一个多项指导功能，包括两个新的感知损失来指导所提出的 PIPNet，以提高重建图像的感知质量。图 2 说明了该方法在非拜耳 CFA 上的 JDD 性能示例。所提出的方法的可行性已经广泛研究了来自不同颜色空间的不同数据样本。后来，我们扩展了我们提出的管道来重建和增强实际像素单元图像传感器的图像。
   本研究的贡献总结如下：
   • 提出了一种基于学习的方法，旨在解决像素级图像传感器上具有挑战性的 JDD。
   • 提出了一个利用深度空间特征注意力的深度网络，并由一个多项目标函数引导，包括两个新的感知损失。
   • 扩展所提出的方法以研究在实际硬件上与 JDD 一起提高感知图像质量的可行性。
   
   图 2：Quad Bayer CFA 上的联合去马赛克和去噪示例。
2. Related work
   本节简要回顾了与所提出的方法相关的工作。
   联合去马赛克和去噪。图像去马赛克被认为是低级 ISP 任务，旨在从给定的 CFA 模式重建 RGB 图像。然而，在实际应用中，图像传感器的数据被噪声污染，这会通过恶化最终的重建结果来直接花费去马赛克过程 [25]。因此，最近的工作强调联合执行去马赛克和去噪，而不是传统的顺序方法。
   一般来说，JDD 方法分为两大类：基于优化的方法 [13, 37] 和基于学习的方法 [12, 9, 21]。然而，后一种方法说明了其经典对应物的巨大动力，特别是在重建质量方面。在最近的工作中，已经引入了许多基于 CNN 的新方法来执行 JDD。例如，[12] 训练了一个包含数百万张图像的深度网络，以实现最先进的结果。类似地，[21] 将majorization-minimization 技术融合到残差去噪网络中，[9] 提出了一种生成对抗网络（GAN）以及感知优化来执行 JDD。此外，[25] 提出了一种由密度图和绿色通道引导监督的基于深度学习的方法。除了这些有监督的方法之外，[10] 还尝试通过对突发图像的无监督学习来解决 JDD。
   图像增强。
   图像增强工作主要旨在通过结合色彩校正、锐度提升、去噪、白平衡等来提高感知图像质量。在最近的工作中，[11, 44] 提出了基于学习的自动全局亮度和伽马调整解决方案。同样，[23] 提供了用于颜色和色调校正的深度学习解决方案，[44] 提出了一个 CNN 模型来增强图像对比度。然而，[15] 引入了最全面的图像增强方法，作者根据使用高端相机系统获得的优质照片增强了降级的智能手机图像。

学习 ISP。
典型的相机 ISP 管道利用大量图像处理模块从传感器的原始数据重建 sRGB 图像。最近有一些新方法试图通过从凸集数据样本中学习来替换这种复杂的 ISP。在 [35] 中，作者提出了一种 CNN 模型来抑制图像噪声和对使用智能手机相机拍摄的图像进行曝光校正。同样，[16] 提出了一个包含广泛的全局特征操作的深度模型，以取代华为 P20 智能手机的整个 ISP。在最近的另一项工作中，[24] 提出了一个两阶段的深度网络来复制相机 ISP。

四拜耳重建。
从 Quad Bayer CFA 重建 RGB 图像非常具有挑战性。在 [18] 中，通过提出双工金字塔网络解决了这一具有挑战性的任务。值得注意的是，现有的方法（包括[18]）都没有专门针对我们的目标应用程序。然而，他们各自领域的成功激发了这项工作，为像素-bin 图像传感器开发了一个图像处理管道，它可以执行 JDD 并超越。
3. Method
本节详细介绍了网络设计、多项目标函数和实施策略。
3.1。网络设计
图 3 描述了所提出的方法的概述，包括新的 PIPNet 架构。在这里，所提出的网络利用特征相关性，也称为注意机制 [14,40,8]，通过 U-Net [33] 中的新组件（如架构）来减轻视觉伪影。总体而言，该方法旨在将马赛克输入 (IM) 映射为 G : IM → IR。其中映射函数 (F) 学习将 RGB 图像 (IR) 重建为 IR ∈ [0, 1]H×W×3。 H 和 W 表示输入和输出图像的高度和宽度。
组深度注意力瓶颈块。
新颖的组深度注意瓶颈（GDAB）块允许所提出的网络通过利用深度注意[14]更深入。 GDAB 块由 m ∈ Z 个深度注意瓶颈 (DAB) 块组成。其中DAB连续堆叠并以短距离残差连接连接；因此，网络可以融合信息特征[8]。对于 GDAB 块的任何第 g 个成员，可以表示为：

这里，Wg、Fg-1 和 Fg 表示相应的权重矩阵、输入和输出特征。 Hg(·) 表示组成员（即 DAB）的函数。
深度注意力瓶颈块。
提议的 DAB 结合了深度注意块和瓶颈块。对于给定的输入 X，第 m 个 DAB 块旨在将特征图 X’ 输出为：

在等式2中，B(·) 表示bottleneck block 函数，它受到了著名的MobileNetV2 [34] 的启发。利用bottleneck block的主要目的是控制具有令人满意的性能的可训练参数。通常，像素级图像传感器专为移动设备设计。因此，我们强调尽可能减少可训练参数。除了瓶颈块，DAB 还包含一个深度注意块，在方程式 2中表示为 D(·)。值得注意的是，本研究提出将深度注意块的特征图与瓶颈块一起添加，以利用长距离深度注意 [14, 8]。这里，深度压缩描述是通过收缩 X^ = [x1, . . . , xc] 如下：

在这里，AGP © 展示了全局平均池化、空间维度和特征图。此外，通过应用如下门控机制来追求聚合的全局依赖关系：
这里，τ 和 δ 代表 sigmoid 和 ReLU 激活函数，它们在 WS(·) 和 WR(·) 卷积操作之后应用，旨在将特征的深度维度设置为 C/r 和 C。
深度注意块的最终输出是通过应用具有如下描述的重新缩放因子 [8] 的深度注意图获得的：

这里，Wc 和 Sc 代表特征图和比例因子

空间注意力块
所提出方法的空间注意块受到最近卷积空间模块 [40, 6] 的启发。它旨在从给定的特征图 X 中实现空间特征注意，如下所示：

这里，F(·) 和 τ 表示卷积操作和 sigmoid 激活。此外，ZA 和 ZM 表示平均池化和最大池化，生成两个 2D 特征图，分别为 。
过渡层
所提出的网络遍历不同的特征深度，使用放大或缩小操作来利用类似 UNet 的结构。下采样操作在输入特征图 X0 上得到如下：

这里，H↓(·) 表示步幅卷积运算。
相反，输入特征图 X0 的放大已实现为：

这里，H↑(·) 表示像素混洗卷积操作后跟 PReLU 函数，旨在避免棋盘伪影[3]。
条件鉴别器。提议的 PIPNet 采用了对抗性指导的概念，并采用了完善的条件生成对抗网络（cGAN）[31]。 cGAN 判别器的目标由堆叠卷积运算组成，并设置为最大化
：

3.2.目标函数
所提出的网络 G 用权重 W 参数化，旨在通过使用给定的 P 对训练图像 来最小化训练损失，如下所示

在这里，LT 表示提出的多项目标函数，旨在在重建图像的同时提高感知质量（即细节、纹理、颜色等）
重建损失
众所周知，L1 范数可用于生成更清晰的图像 [45, 35]。因此，采用 L1 范数来计算像素级重建误差，如下所示：
这里，IG 和 IR 分别表示 G(IM) 的地面实况图像和输出.
正则化特征损失（RFL）：VGG-19 基于特征的损失函数旨在通过鼓励重建图像具有与参考图像相同的特征表示来提高重建图像的感知质量 [15,30,39]。通常，这样的激活图损失函数表示如下:
其中LVGG可以扩展如下:

这里，ψ 和 j 表示预训练的 VGG 网络及其第 层
值得注意的是，在方程式 11 中，λP 表示特征损失的调节器。然而，在大多数情况下，必须着重设置调节器的值，如果没有适当的调整，它可能会恶化重建过程 [39]。为了解决这个限制，我们用总变化正则化 [36] 替换了 λP，可以表示如下:

这里，表示垂直和水平方向上的梯度之和，在训练对上计算。公式11的正则化形式可以写成：。
感知色彩损失 (PCL)
由于较小的光圈和传感器尺寸，大多数智能手机相机在许多情况下都容易显示颜色不一致 [15]。我们开发了一个基于感知色彩损失的 CIEDE2000 [27] 来解决这个限制，旨在测量欧几里得空间中两个图像之间的色差。随后，新开发的损失函数鼓励所提出的网络生成与参考图像相似的颜色。提出的感知颜色损失可以表示如下：
这里，ΔE 代表 CIEDE2000 色差 [27]。
对抗性损失
众所周知，对抗性引导能够在重建图像的同时恢复纹理和自然颜色。因此，我们鼓励我们的模型采用基于 cGAN 的交叉熵损失，如下所示：

在这里，D 表示条件鉴别器，旨在作为全局批评者。
总的损失。最终的多期目标函数（LT ）计算如下。

在这里，λG 表示对抗性调节器并设置为 λG = 1e-4。

3.3.实施细节
提议的 PIPNet 的生成器在不同的特征深度之间遍历以利用类似 UNet 的结构 d = (64, 126, 256)，其中提议网络的 GDAB 块包括 m = 3 个 DAB 块（也称为组密度后面的部分）。 DAB 块的瓶颈块中的每个卷积操作都包含 1 × 1 卷积和 3 × 3 可分离卷积，其中每一层都使用 LeakyReLU 函数激活。此外，空间注意块、下采样块和鉴别器使用 3 × 3 卷积运算。 swish 函数激活了鉴别器的卷积操作。此外，判别器的每 (2n-1) 层都会增加特征深度并将空间维度减少 2。
4. 实验
所提出的方法的性能已经通过复杂的实验进行了广泛的研究。本节详细介绍了 JDD 的实验结果和比较。
4.1。设置
为了学习像素级图像传感器的 JDD，我们从 DIV2K [2] 和 Flickr2K [38] 数据集中提取了 741,968 个尺寸为 128×128 的非重叠图像块。图像块根据 CFA 模式进行采样，并被随机噪声因子 N (IG|σ) 污染。这里，σ表示高斯分布的标准偏差，其由N(·)在干净图像IG上生成。假设 JDD 在色彩校正、色调映射和白平衡之前已经在 sRGB 颜色空间中执行。该模型已在 PyTorch [32] 框架中实现，并使用 Adam 优化器 [20] 进行了优化，β1 = 0.9，β2 = 0.99，学习率 = 1e−4。该模型训练了 10 ∼ 15 个 epoch，具体取决于 CFA 模式，批量大小为 12。训练过程使用 Nvidia Geforce GTX 1060 (6GB) 图形处理单元 (GPU) 加速。
4.2.联合去马赛克和去噪
为了评估目的，我们与基准数据集进行了广泛的比较，包括 BSD100 [29]、McM [41]、Urban100 [7]、Kodak [42]、WED [28] 和 MSR 去马赛克数据集 [17]。我们仅使用来自 MSR 去马赛克数据集的 linRGB 图像来验证所提出的方法在不同颜色空间（即 sRGB 和 linRGB）中的可行性。因此，我们在本文的其余部分将 MSR 去马赛克数据集表示为 linRGB。除此之外，还研究了四种基于 CNN 的 JDD 方法（Deepjoint [12]、Kokkinos [21]、Dong [9]、DeepISP [35]）和专门的 Quad Bayer 重建方法（DPN [18]）进行比较。每种比较方法的性能均使用三个不同的噪声水平 σ = (5, 15, 25) 进行交叉验证，并使用以下评估指标进行总结：PSNR、SSIM 和 DeltaE2000。
4.2.1 Quad Bayer CFA
在 Quad Bayer CFA 上执行 JDD 极具挑战性。然而，所提出的方法旨在通过使用新颖的 PIPNet 来解决这一具有挑战性的任务。表1说明了所提出的 PIPNet 与基于目标学习的 Quad Bayer CFA 方法之间的性能比较。可以看出，我们提出的方法在基准数据集的定量评估中优于现有的基于学习的方法。此外，图 4 中描绘的视觉结果证实，所提出的方法可以从 Quad Bayer CFA 重建视觉上似是而非的图像。

表 1：Quad Bayer CFA 上 JDD 的定量评估。 PSNR 和 SSIM 值越高表示效果越好，而 DeltaE 越低表示颜色一致性越高。

图 4：Quad Bayer CFA 上 JDD 的定性评估。
4.2.2 Bayer CFA
如前所述，像素仓图像传感器在许多情况下必须采用Bayer CFA。因此，提议的PIPNet必须在Bayer CFA上均匀地执行JDD。 表2说明了PIPNet的JDD性能。表2说明了所提出的方法和其对应的Bayer CFA的JDD性能。建议的方法在Bayer CFA中也描述了一致性。另外，它在对Bayer CFA进行JDD时可以恢复更多的细节，而不会产生任何视觉干扰的伪影，如图5所示。

表2: JDD对Bayer CFA的定量评估。PSNR和SSIM的值越高，说明效果越好，而DeltaE越低，说明颜色越一致。

图 5：拜耳 CFA 上 JDD 的定性评估。
未完
References
[1] Gennadiy A Agranov, Claus Molgaard, Ashirwad Bahukhandi, Chiajen Lee, and Xiangli Li. Pixel binning in an image sensor, June 20 2017. US Patent 9,686,485. 1
[2] Eirikur Agustsson and Radu Timofte. Ntire 2017 challenge on single image super-resolution: Dataset and study. In IEEE Conf. Comput. Vis. Pattern Recog. Worksh., pages 126–135, 2017. 5
[3] Andrew Aitken, Christian Ledig, Lucas Theis, Jose Caballero, Zehan Wang, and Wenzhe Shi. Checkerboard artifact free sub-pixel convolution: A note on sub-pixel convolution, resize convolution and convolution resize. arXiv preprint arXiv:1707.02937, 2017. 4
[4] Sandor L Barna, Scott P Campbell, and Gennady Agranov. Method and apparatus for improving low-light performance for small pixel image sensors, June 11 2013. US Patent 8,462,220. 1
[5] Bryce E Bayer. Color imaging array, July 20 1976. US Patent 3,971,065. 1, 2
[6] Long Chen, Hanwang Zhang, Jun Xiao, Liqiang Nie, Jian Shao, Wei Liu, and Tat-Seng Chua. Sca-cnn: Spatial and channel-wise attention in convolutional networks for image captioning. In IEEE Conf. Comput. Vis. Pattern Recog.,pages 5659–5667, 2017. 3
[7] Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. The cityscapes dataset for semantic urban scene understanding. In IEEE Conf. Comput. Vis. Pattern Recog., pages 3213–3223, 2016.5
[8] Tao Dai, Jianrui Cai, Yongbing Zhang, Shu-Tao Xia, and Lei Zhang. Second-order attention network for single image super-resolution. In IEEE Conf. Comput. Vis. Pattern Recog., pages 11065–11074, 2019. 3
[9] Weishong Dong, Ming Yuan, Xin Li, and Guangming Shi. Joint demosaicing and denoising with perceptual optimization on a generative adversarial network. arXiv preprint arXiv:1802.04723, 2018. 2, 5, 6, 7
[10] Thibaud Ehret, Axel Davy, Pablo Arias, and Gabriele Facciolo. Joint demosaicking and denoising by fine-tuning of bursts of raw images. In Int. Conf. Comput. Vis., pages 8868– 8877, 2019. 2
[11] Xueyang Fu, Delu Zeng, Yue Huang, Yinghao Liao, Xinghao Ding, and John Paisley. A fusion-based enhancing method for weakly illuminated images. Signal Process., 129:82–96, 2016. 2
[12] Michael Gharbi, Gaurav Chaurasia, Sylvain Paris, and Fr ¨ edo ´ Durand. Deep joint demosaicking and denoising. ACM Trans. Graph., 35(6):1–12, 2016. 2, 5, 6, 7
[13] Keigo Hirakawa and Thomas W Parks. Joint demosaicing and denoising. IEEE Trans. Image Process., 15(8):2146– 2157, 2006. 2
[14] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In IEEE Conf. Comput. Vis. Pattern Recog., pages 7132–7141, 2018. 2, 3
[15] Andrey Ignatov, Nikolay Kobyshev, Radu Timofte, Kenneth Vanhoey, and Luc Van Gool. Dslr-quality photos on mobile devices with deep convolutional networks. In Int. Conf. Comput. Vis., pages 3277–3285, 2017. 1, 2, 4, 5, 7, 8
[16] Andrey Ignatov, Luc Van Gool, and Radu Timofte. Replacing mobile camera isp with a single deep learning model. In IEEE Conf. Comput. Vis. Pattern Recog. Worksh., pages 536–537, 2020. 2, 3, 7
[17] Daniel Khashabi, Sebastian Nowozin, Jeremy Jancsary, and Andrew W Fitzgibbon. Joint demosaicing and denoising via learned nonparametric random fields. IEEE Trans. Image Process., 23(12):4968–4981, 2014. 5
[18] Irina Kim, Seongwook Song, Soonkeun Chang, Sukhwan Lim, and Kai Guo. Deep image demosaicing for submicron image sensors. J. Imaging Sci. Techn., 63(6):60410–1, 2019.1, 2, 3, 5, 6, 7
[19] Yongnam Kim and Yunkyung Kim. High-sensitivity pixels with a quad-wrgb color filter and spatial deep-trench isolation. Sensors, 19(21):4653, 2019. 1, 2 [20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980,2014. 5
[21] Filippos Kokkinos and Stamatios Lefkimmiatis. Deep image demosaicking using a cascade of convolutional residual denoising networks. In Eur. Conf. Comput. Vis., pages 303–319, 2018. 2, 5, 6, 7
[22] Assaf Lahav and David Cohen. Color pattern and pixel level binning for aps image sensor using 2× 2 photodiode sharing scheme, Aug. 10 2010. US Patent 7,773,138. 1
[23] Joon-Young Lee, Kalyan Sunkavalli, Zhe Lin, Xiaohui Shen, and In So Kweon. Automatic content-aware color and tone stylization. In IEEE Conf. Comput. Vis. Pattern Recog., pages 2470–2478, 2016. 2
[24] Zhetong Liang, Jianrui Cai, Zisheng Cao, and Lei Zhang. Cameranet: A two-stage framework for effective camera isp learning. arXiv preprint arXiv:1908.01481, 2019. 3, 8
[25] Lin Liu, Xu Jia, Jianzhuang Liu, and Qi Tian. Joint demosaicing and denoising with self guidance. In IEEE Conf. Comput. Vis. Pattern Recog., pages 2240–2249, 2020. 2
[26] X Liu, Boyd Fowler, Hung Do, Steve Mims, Dan Laxson, and Brett Frymire. High performance cmos image sensor for low light imaging. In International Image Sensor Workshop,pages 327–330, 2007. 1
[27] M Ronnier Luo, Guihua Cui, and Bryan Rigg. The development of the cie 2000 colour difference formula: Ciede2000. Color Research & Application: Endorsed by Inter-Society Color Council, The Colour Group (Great Britain), Canadian Society for Color, Color Science Association of Japan, Dutch Society for the Study of Color, The Swedish Colour Centre Foundation, Colour Society of Australia, Centre Franc¸ais de la Couleur, 26(5):340–350, 2001. 5
[28] Kede Ma, Zhengfang Duanmu, Qingbo Wu, Zhou Wang, Hongwei Yong, Hongliang Li, and Lei Zhang. Waterloo exploration database: New challenges for image quality assessment models. IEEE Trans. Image Process., 26(2):1004– 1016, 2016. 5
[29] D. Martin, C. Fowlkes, D. Tal, and J. Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In Int. Conf. Comput. Vis., volume 2, pages 416–423, July 2001. 5
[30] Roey Mechrez, Itamar Talmi, and Lihi Zelnik-Manor. The contextual loss for image transformation with non-aligned data. In Eur. Conf. Comput. Vis., pages 768–783, 2018. 4
[31] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784, 2014. 4 [32] Pytorch. PyTorch Framework code. https://pytorch. org/, 2016. Accessed: 2020-11-14. 5
[33] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015. 3
[34] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, and Liang-Chieh Chen. Mobilenetv2: Inverted residuals and linear bottlenecks. In IEEE Conf. Comput. Vis. Pattern Recog., pages 4510–4520, 2018. 3
[35] Eli Schwartz, Raja Giryes, and Alex M Bronstein. Deepisp: Toward learning an end-to-end image processing pipeline. IEEE Trans. Image Process., 28(2):912–923, 2018. 2, 3, 4,5, 6, 7
[36] David Strong and Tony Chan. Edge-preserving and scaledependent properties of total variation regularization. InverseProbl., 19(6):S165, 2003. 4
[37] Hanlin Tan, Xiangrong Zeng, Shiming Lai, Yu Liu, and Maojun Zhang. Joint demosaicing and denoising of noisy bayer images with admm. In IEEE Int. Conf. Image Process., pages 2951–2955. IEEE, 2017. 2
[38] Radu Timofte, Eirikur Agustsson, Luc Van Gool, MingHsuan Yang, and Lei Zhang. Ntire 2017 challenge on single image super-resolution: Methods and results. In IEEE Conf. Comput. Vis. Pattern Recog. Worksh., pages 114–125, 2017.5
[39] Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Yu Qiao, and Chen Change Loy. Esrgan: Enhanced super-resolution generative adversarial networks. In Eur. Conf. Comput. Vis., pages 0–0, 2018. 4
[40] Sanghyun Woo, Jongchan Park, Joon-Young Lee, and In So Kweon. Cbam: Convolutional block attention module.In Eur. Conf. Comput. Vis., pages 3–19, 2018. 2, 3
[41] Wei Wu, Zheng Liu, Wail Gueaieb, and Xiaohai He. Singleimage super-resolution based on markov random field and contourlet transform. J. Electron. Imaging, 20(2):023005, 2011. 5
[42] Akira Yanagawa, Alexander C Loui, Jiebo Luo, Shih-Fu Chang, Dan Ellis, Wan Jiang, Lyndon Kennedy, and Keansub Lee. Kodak consumer video benchmark data set: concept definition and annotation. Columbia University ADVENT Technical Report, pages 246–2008, 2008. 5
[43] Yoonjong Yoo, Jaehyun Im, and Joonki Paik. Low-light image enhancement using adaptive digital pixel binning. Sensors, 15(7):14917–14931, 2015. 1 [44] Lu Yuan and Jian Sun. Automatic exposure correction of consumer photographs. In Eur. Conf. Comput. Vis., pages 771–785. Springer, 2012. 2
[45] Hang Zhao, Orazio Gallo, Iuri Frosio, and Jan Kautz. Loss functions for image restoration with neural networks. IEEE Trans. Comput. Imag., 3(1):47–57, 2016.