Cross-Scale Non-Local Attention论文笔记
CSNL论文笔记
Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining
跨尺度非局部注意力和穷举自样本挖掘的注意力机制
针对问题: 现有的大部分研究都忽略了自然图像中的远距离特征相关性,虽然通过非局部注意力模块能够利用这种相关性,但目前的深度模型都未涉及另一个图像固有属性,跨尺度的特征相关性。
动机:自然图像中普遍存在跨尺度的块相似性,自相似的非局部搜索可以从像素之间扩展到像素与块之间,也就是说处理非局部像素匹配之外,像素还可以与较大的图像块匹配,自然图像交叉尺度特征之间的联系让我们能够从LR中直接搜索高频细节,从而获得更精确更高质量的重建结果。
本文的贡献:提出了第一个用于SISR任务的深度学习模型–跨尺度非局部注意模块。明确地表达了图像内部像素到块和块到块的相似性,并且证明了挖掘跨尺度自相似性极大地提高了SISR性能
提出的方法(模型):CS-NL
IN-Scale NL Attention原理:
z代表经过NL模块之后i,j位置的值,Xi,j表示输入特征图i,j位置的值,Xg,h表示输入特征图g,h位置的值,Xu,v表示任意位置的值,这个公式表示遍历整个特征图像每个像素点求与Xi,j之间的关系,然后用得到的关系整除所有位置与Xi,j的关系,这样就得到了Xg,h所在位置对Xi,j影响权重的大小,再加入Xg,h位置向Xi,j位置的映射,最终将所有位置向Xi,j的映射进行加权求和得到i,j位置新的表示。
Cross-scale NL Attention原理:
Y代表下采样s倍的图像,Yg,h表示g,h所在位置的特征,Yu,v表示任意位置的特征,
X
s
g
,
s
h
s
∗
s
X_{sg,sh}^{s\ast s}
Xsg,shs∗s,表示与Yg,h位置相对的ss大小的块,整个过程如下图所示:
图中原始特征图缩小S倍后,每个小尺度图中的块代表这原始特征图中ss大小的块,求小图与原图像素之间的关系等同于求原始图像中相对位置的s*s大小的块与原图中像素点的关系,因此从像素加权求和演变为图像块的加权求和,用加权得到的块来代替原图中的像素点,就得到了最终扩张了s倍的特征图。
文章最终采取了块与块之间的关系实现,原理与上述相同,只是将像素与块的关系换成了块与块之间的关系。
自样本挖掘
自样本挖掘(SEM)单元通过重复挖掘和融合信息来穷尽图像的信息。在模块内部,通过结合局部、尺度内非局部和建议的跨尺度非局部特征相关性,彻底挖掘所有可能的内在先验。
互投影融合
这篇文章再自样本挖掘模块中,需要用到三种提取特征的方法,分别是CS-NL,NL,还有普通的卷积,借鉴了DBPN通过互投影的方法将其融合在一起,如下图所示:
Fc表示CS-NL模块的输出,Fi表示IN-NL的输出,Fl表示只进行普通卷积的输出。
**总结:**网络通过递归的使用SEM将图像的特征信息挖掘出来,输出到最终的拼接阶段,通过卷积最终生成一副高质量SR图像。CS-NL模型利用了不同尺度之间特征的相关性,通过CS-NL将图像的细节变得更丰富,单个像素表征的信息变成了多个点进行信息表征,进一步缓解了卷积过程中信息的融合。