（MSCN）CVPR-2016：Learning a Mixture of Deep Networks for SingleImage Super-Resolution

code：Learning a Mixture of Deep Networks for Single Image Super-Resolution

一、摘要

本文提出了在一个统一的框架中混合学习SR推理模块的方法。具体地说，首先在LR图像上独立地应用专门用于不同图像局部pattern的多个SR推理模块以获得各种HR估计，并且自适应地聚合所得HR估计以形成最终HR图像。通过选择神经网络作为SR推理模块，整个过程可以整合到一个统一的网络中，并进行联合优化。

二、介绍

基于实例的方法近年来受到了广泛关注。它通常借助稀疏表示、随机森林等，以逐块的方式学习从LR图像到HR图像的映射。邻域嵌入法和基于神经网络的方法是这类方法的两个代表。

邻域嵌入方法：基于LR/HR patch对在低维非线性流形中共享相似的局部几何结构的假设，将HR patch估计为局部邻域的加权平均，其权重与LR特征空间中相同。（1）通过将每个LR块表示为局部邻域的加权平均来获得编码系数，（2）将编码系数与相应的训练HR patch相乘估计HR对应项。

三、本文方法

提出了一种方法，这种方法结合邻域嵌入方法和基于神经网络的方法的优点，它通过学习混合神经网络对单幅图像进行SR。整个图像信号空间可以划分为若干子空间，并为每个子空间中的图像信号指定一个SR模块。

选择神经网络作为SR推理模块，将这些模块合并到一个统一的网络中，在网络中设计一个分支来预测每个SR模块的HR估计值的像素级权重，然后自适应地聚合这些权重以形成最终的HR图像。

步骤：

（1）LR图像作为输入

（2）有许多SR推理模块，每一个Bi都用于推断特定类别的图像patch，并应用于LR输入图像来预测HR估计

 （3）设计了一个自适应权重模块T，用于在像素级自适应组合SR推理模块的HR估计

 网络结构

（1）SR推理模块：以LR图像为输入，每个SR推理模块用于更好地捕获特定类别LR图像信号与其HR对应信号之间的复杂关系，同时预测HR估计。

选择基于稀疏编码的网络（SCN）作为SR推理模块，下图为SCN的结构：

（2） 自适应权重模块：目标是对每个SR推理模块的HR估计的选择性进行建模。为每个HR估计分配像素级聚合权重，最终输出所有HR估计值的像素级权重图。

 （3）聚合：每个SR推理模块的输出与自适应权重模块中相应的权重映射以像素方式相乘，然后将这些结果相加，形成最终估计的HR帧。

 目标函数

四、实验

每个SR推理模块采用SCN的网络架构，自适应权重模块中所有三个卷积层的滤波器的大小均为5×5，三层滤波器的数量分别为32、16和N，即SR推理模块的数量。对于较大的放大因子，采用SCN中的模型级联技术多次应用×2模型，直到生成的图像达到所需大小。

（1）自身比较

不同数量的SR推理模块与SR性能之间的关系

由于选择的SR推理模块SCN与基于稀疏编码的SR方法非常相似，因此可以通过减少稀疏表示中嵌入的字典大小n（即SCN中的滤波器数量）来减少每个推理模块的模块容量。

比较了以下情况：

（1）一个n=128的推理模块，相当于SCN（n=128），在这种情况下，不需要包括自适应权重模块。

（2）两个n=64的推理模块，表示为MSCN-2（n=64）。

（3）四个n=32的推理模块，表示为MSCN-4（n=32）。

比较结果

•  MSCN-2（n=64）大部分优于原始SCN网络，MSCN-4（n=32）可以通过略微优于MSCN-2（n=64）来实现最佳SR性能
• 每个SR推理模型能够比单个通用推理模型更好地超分辨自己的图像信号类别

自适应权重模块

 可视化了网络中每个SR推理模块的四个权重图，在每个像素处记录所有权重映射的最大权重索引，并生成最大标签映射。

结果

（×2、×2、×2） 

•  权重映射4在许多均匀区域显示出较高响应，主要有助于HR预测的低频区域；权重映射1、2和3在具有不同边缘和纹理的区域具有较高响应，有助于恢复HR预测的高频细节
• 这些子网络以一种补充方式工作，用于构建最终的HR预测

 （2）和其他先进方法比较

•  本文模型在三个数据集上对于各种放大因子都实现了最佳SR性能

（×3、×3、×4）  

•  本文提出的模型MSCN-4（n=128）能够在SR推断中恢复更锐利的边缘并生成更少的伪影

 （3）运行时间比较

（set14、×2）

•  一般来说，本文网络拥有的模块越多，所需的推理时间就越多，获得的SR结果也越好
• 与其他SR方法相比，本文提出的最慢网络在推理时间方面仍然具有优势

 五、结论

（1）提出联合学习一种针对单一图像超分辨率的混合深度网络，每个深度网络作为一个SR推理模块来处理某类图像信号。

（2）设计了自适应权值模块，用于预测像素级的HR估计聚合权值。