Abstract:
本文为基于参考图像的超分方法提出了一个参考图像对齐特征提取网络（Similarity Search and Extraction Network）
传统方法是在参考图像上用暴力搜索或者光流估计寻找与目标图像的最佳匹配位置，本文方法采用端到端的训练方法没有额外的监督或者大的计算量。
本文提出的模型不仅可以预测最佳的匹配位置，而且可以知道最佳匹配的关联。这使得本文方法对不相关的参考图像更加鲁棒（RefSR性能退化存在的主要问题）。如果没有参考图像，可以利用self-similarity SR。
Q:对齐特征？没有额外的监督？（上一篇RefSR中是如何找到最佳的匹配位置的？）最佳匹配的关联？对不相关的参考图像更加鲁棒是如何实现的？如何迁移到Self-similarity SR?
Introduction:
为了实现高PSNR，优化过程定义为gt与生成的超分图像之间最小MSE（mean-squared-error）。这种方法存在一个问题：生成的解决方案是可能的高分辨率图像的中值或者均值，缺乏高频细节，具有模糊的视觉效果。
Q:生成的解决方案是可能的高分辨率图像的中值或者均值?
为了获取具有真实纹理细节的超分图像，perceptual loss（约束特征相似性） 和用GAN做超分被提出。虽然能够生成视觉上不错的超分图像，但是并不能确保原始高分辨率图像的准确重建，导致psnr下降。
为了解决以上问题，现存的一些方法显示的利用了额外的信息来帮助超分。
RefSR是如何提出来的？
答：高分辨率图像下采样后，丰富的纹理细节丢失，很难恢复准确的纹理细节。 对于这些高频细节，提供相似的内容比生成假的纹理更加可靠，所以提出了RefSR。什么是RefSR?给定具有相似内容的参考图像生成丰富的纹理细节帮助超分。
将映射问题由一对多变为一对一的问题（将参考图像的纹理映射到输出）
Q:将映射问题由一对多变为一对一的问题（将参考图像的纹理映射到输出）?
RefSR算法最期望的行为是，它应该知道到低分辨率图像与参考图像之间的相似度，以免受到无关参考图像的影响。
SSEN模块由堆叠的deformable 卷积层组成。本文方法的主要优势：使用偏移量估算器（dynamic offset estimator）学习相似性，该估算器学习可变形卷积的偏移量。为偏移量估算器采用了non -local block，该块以多尺度方式执行像素或逐块相似性匹配
Similarity Search and Extraction Network(SSEN)
3.1 Network Architecture
受deformable 卷积特征对齐能力的启发，将RefSR问题公式化为一个集成的重建过程，该过程将输入和参考特征之间的相似内容匹配，并以对齐的形式提取参考特征。在没有任何流量监督的情况下匹配像素空间中的内容。
Q: deformable 卷积特征对齐能力？
以顺序的方法堆叠可变形的卷积层，随着以顺序的方式继续进行，接收场会变大。RefSR在整张图像中搜索相似的区域，大的感受野是很重要的。为了这个目的，muti-scale 结构和non-local blocks传播offset信息。本文的模块以大的接收场进行像素级或色块级匹配，从而估计可变形卷积核的偏移量。
deformable 卷积用来提高CNN网络建模几何变换（geometric transformations）的能力。它以可学习的偏移量进行训练，这有助于通过变形的采样网格（a deformed sampling grid）对像素点进行采样。由于这个特性，它在没有任何先验光流的情况下被广泛地用于特征对齐或隐式运动估计[26，28]
Q：什么是几何变换？（geometric transformations），为什么可以用于特征对齐？
SSEN采用调制的可变形卷积[43]，它另外利用调制标量学习采样内核的动态权重
Q:调制的可变形卷积？
在调制的可变形卷积中，学习了调制标量和偏移量，以使内核具有更多的空间变化性。 形式上，可变形卷积运算定义如下：
Q：wk是什么？X是什么？p，pk,K是什么，输入输出是什么？
X是输入，Y是输出。K是kernal weights的数量。wk是第k个kernal weight,p是中心指数，pk是第k个固定的offset，k位置可学习的offset。
是调制标量，它使相关性权重学习能够针对RefSR中混乱或不相关的输入数据可靠地提取对应关系。
SSEN根据动态偏移量估算器提供的偏移量，逐渐将参考要素与每一层中的输入要素对齐，
Q:什么是对齐？
为了捕获从近到远的相似性，应该动态的学习offset，（偏移量应该能够覆盖大范围的区域，并主动到达各个不同的位置）
偏移估计器，用于学习动态偏移。基于参考图像和输入的低分辨率图像之间的相似性来学习可变形卷积的偏移量。参考特征和输入特征concate作为输入。我们遵循光流估计中普遍采用的多尺度原理[6，10]。 串联的输入被下采样3次，因此在预测偏移量时可以考虑多个比例。
为了有效定位可以远距离定位的相关特征，我们在动态偏移量估计器中利用了非局部块。非局部操作捕获特征内部或特征之间的全局相关性，这有助于通过极大的接收场来预测动态偏移，以处理较小和较大的位移。我们在动态偏移量估算器中利用了三个非局部块，因此在每个级别的尺度上都需要注意地放大特征。 注意，关于下采样特征的非局部操作的处理可以被认为是测量patch相似度而不是像素方式相似度。
非局部块有助于捕获全局上下文和每个特征的相关性，这对于估计远程依赖关系是必需的。
给定输入x和输出y，
我们可以将y视为注意力引导特征attention guided feature，该特征突出显示了pixel- or patch-level的输入特征和参考特征之间的全局相关性。
函数g（xj）可以表示为Wgxj，该函数计算输入信号x在位置j的线性嵌入。 f（xi，xj）计算xi与xj之间的成对相似度。 inner product内部乘积相似的方式计算patch相似度。
输入层和输出层之间采用全局跳过连接，以确保我们的网络专注于残差特征学习
Loss:
数据集：
RefSR:CUFED数据集（日常生活）每个参考图像配对5个具有不同相似程度的参考图像。
self-similarity SR:DIV2K,测试 Urban100,Set5
1500
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
