去padding_心中无码，自然高清 || 联合去马赛克与超分辨率研究论文Pytorch复现

萌新GitHub项目地址：DRNFJDSR

本文结构

1. 简单扫盲
   1. 什么是去马赛克
   2. 什么是超分辨率
2. 《Deep Residual Network for Joint Demosaicing and Super-Resolution》论文简介
   1. 论文创新点
   2. 论文模型结构
   3. 训练数据
   4. 论文模型效果
3. 论文复现
   1. Pytorch代码
      1. Model
      2. DataSet
      3. Train
   2. 需要注意的细节
   3. 复现结果
      1. 数值结果
      2. 图片展示

一、简单扫盲

1、什么是去马赛克

首先，去马赛克嘛，大家都知道：

当然不是上图这样的，各位读者姥爷别想歪了，此马赛克非彼马赛克，这个去马赛克是数码相机成像中的一个关键性的环节。要说明白这个得从数码相机的感光元件说起。

我们知道，数码图像是由像素排列成的，而一个像素点是由RGB即红、绿、蓝三种颜色混合而成的，而数码相机的感光元件只能感受到光照的强度，要想在一个点上同时采集红、绿、蓝三种颜色的光照强度，在结构和制作成本上会是一场噩梦。这个问题该如何解决呢？

这个时候布莱斯．拜尔拿着自己发明的Bayer阵列振臂疾呼：弟弟们，大哥来救你们了！

https:// zh.wikipedia.org/wiki/% E6%8B%9C%E7%88%BE%E6%BF%BE%E8%89%B2%E9%8F%A1
拜耳阵列（拜耳马赛克）简介 - 风之盔的博客 - CSDN博客

Bayer阵列的思路很简单，既然在一个点上采三种光很难，那就只采一种光呗，何必为难感光元件？既然我们又必须采集到三种不同颜色的光，那么就在感光的排列上做做文章呗：

Bayer阵列

Bayer 阵列感光元件

采集到每个点只能采集到三种颜色的光中的一种，其它两种颜色的光则可以向邻居借得到，而这“借”的过程，我们就称之为“去马赛克”：

左：Bayer阵列图像（RAW图像） 右：高清无码TIFF图像

Bayer阵列图像局部放大

高清图像局部放大

看了这上面的图，知道为啥叫“去马赛克”了吗？

相关的算法有FlexISP、ADMM、DemosaicNet等。

Deep Demosaicking

2、什么是超分辨率？

简而言之，就是把低分辨率的图像变成高分辨率的：

深度学习的超分辨率方法已有很多，如SRCNN、FSRCNN、ESPCN、VDSR等。

桂花糖：从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程

二、《Deep Residual Network for Joint Demosaicing and Super-Resolution》论文简介

下载地址：Deep Residual Network for Joint Demosaicing and Super-Resolution

1、论文创新点

该论文的最大创新点和其标题一样，是第一次把去马赛克和超分辨率结合在一起做，直接从单通道的RAW图像中挖掘尽可能多的信息，直接生成超分辨率的三通道图片。相对于先做去马赛克，再做超分辨率，这样做的好处在于一可避免两个阶段的错误积累，产生质量更高的图片，二可减少运算量，减少计算时间。

2、论文模型结构

模型分为三个阶段：

a、提取颜色：用4x4的卷积，达到在Bayer图像中提取每个点真实颜色的目的

b、非线性映射：借鉴残差网络的模块构成深层网络提取特征

c、图像重构：借鉴ESPCN里的sub-pixel结构，将通道数减少4倍从而使得图像的高和宽分别提升两倍，达到超分辨率的目的