ESPCN

 

ESPCN（Efficient Sub-Pixel Convolutional Neural Network）网络是用于super-resolution task的网络，super resolution的task 训练时一般是用原图片作为label，然后用原图resize成的更小的图片作为输入，让网络学习怎么去还原这个resize的过程。

ESPCN全过程：

对于一堆的训练集图片，将其首先crop成128*128的大小，然后将它缩小4倍，变成32*32的大小（注意是缩小，不是裁剪crop），将这个作为输入。再将crop后的128大小的矩阵做归一化（将每个数除以127.5再减1），将每个数归到-1到1之间，将这个归一后的矩阵作为label。（只将label归一，input不归一，用的就是原图片的像素值，原因后讲）

网络结构：

*******************************************************************************

inputs(B*32*32*3)----->1x1_deconv/relu----->(B*32*32*64)----->5x5_deconv/relu----->

*******************************************************************************

----->(B*32*32*64)----->5x5_deconv----->(B*128*128*48)----->

*******************************************************************************

----->(B*32*32*16)----->PS----->(B*128*128*1)----->

----->split ----->(B*32*32*16)----->PS----->(B*128*128*1)----->concat----->(B*128*128*3)----->

----->(B*32*32*16)----->PS----->(B*128*128*1)----->

*******************************************************************************

----->tanh----->(B*128*128*3)------------>

  L2 distance----->loss

----->label(B*128*128*3)----->

*******************************************************************************

--上面的两个5x5deconv操作是有padding的，才会输出deconv后大小一样，deconv的具体操作请看转置卷积部分

--上面(B*128*128*3)这个层就是一张经过还原了分辨率的图片了（SR），若是在inference阶段，这个就是输出的结果

--(SR：super-resolution，即机器推出来的高分辨率图像；LR：low-resolution，即缩小后的低分辨率图像；HR：high-resolution，即原图像)

--但是在训练阶段，为了评判你得到的结果是否准确，则对这个矩阵做了一个tanh，将其映射到了-1到1之间，并和label矩阵相减 开平方 求平均（即L2 distance），作为loss，这也就是为什么前面要对label做归一操作，使它数据分布在-1到1之间的原因，因为这里的输出经过tanh后是-1到1之间的

--对于上面的PS操作也就是ESPCN核心的亚像素卷积层(subpixel convolution):

 

对于厚度为16的矩阵，经过PS后，将其拼成了厚度为1的size扩大了4倍的矩阵

(B，32，32，16)----->(B，4*32，4*32，1) = (B，128，128，1)

其拼凑的方法从上图中可以很直观的看出（上图是扩大3倍）