Summary
这篇文章的创新点在于提出了Meta-Upscale Module这个模块，实现了任意尺寸的放大（当然这篇论文做的主要是x1-x4的倍数），核心思想是HR和LR图片之间实际上是一个缩放关系，有一个缩放因子r。LR的像素通过一组滤波器权重可以映射到SR上，所以找到SR图片和LR图片的像素映射，训练出滤波器权重。
(1)
I
S
R
(
i
,
j
)
=
Φ
(
F
L
R
(
i
′
,
j
′
)
,
w
(
i
,
j
)
)
\mathbf{I}^{S R}(i, j)=\Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{w}(i, j)\right) \tag{1}
ISR(i,j)=Φ(FLR(i′,j′),w(i,j))(1)
因为r的大小可以认为任意选择，也就实现了任意尺度的缩放。
Architecture
网络实际上分位两部分：特征提取+放大。
特征提取如图，堆叠三个RDB模块。
第二部分则是重点，这个模块可以看作是LR图像到HR图像的映射模块。
Meta-Upscale 模块有三个重要的函数，即 Location Projection、Weight Prediction、Feature Mapping。
- Location Projection 把像素投射到 LR 图像上，即找到与像素（i, j）对应的像素（i′, j′)。作者认为像素（i, j）的值是由像素（i′, j′）的特征所决定.
(2) ( i ′ , j ′ ) = T ( i , j ) = ( ⌊ i r ⌋ , ⌊ j r ⌋ ) \left(i^{\prime}, j^{\prime}\right)=T(i, j)=\left(\left\lfloor\frac{i}{r}\right\rfloor,\left\lfloor\frac{j}{r}\right\rfloor\right) \tag{2} (i′,j′)=T(i,j)=(⌊ri⌋,⌊rj⌋)(2) - WeightPrediction 模块为 SR 图像上每个像素预测 对应滤波器的权重
(3) W ( i , j ) = φ ( v i j ; θ ) \mathbf{W}(i, j)=\varphi\left(\mathbf{v}_{i j} ; \theta\right) \tag{3} W(i,j)=φ(vij;θ)(3)
其中 v i j v_{ij} vij 是与 i , j i, j i,j相关联的向量，也是权重预测网络的输
(4) v i j = ( i r − ⌊ i r ⌋ , j r − ⌊ j r ⌋ ) \mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor\right)\tag{4} vij=(ri−⌊ri⌋,rj−⌊rj⌋)(4)
(5) v i j = ( i r − ⌊ i r ⌋ , j r − ⌊ j r ⌋ , 1 r ) \mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor, \frac{1}{r}\right)\tag{5} vij=(ri−⌊ri⌋,rj−⌊rj⌋,r1)(5) - Feature Mapping 函数利用预测得到的权重将 LR 图像的特征映射回 SR 图像空间以计算其像素值。
(6) Φ ( F L R ( i ′ , j ′ ) , W ( i , j ) ) = F L R ( i ′ , j ′ ) W ( i , j ) \Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{W}(i, j)\right)=\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right) \mathbf{W}(i, j)\tag{6} Φ(FLR(i′,j′),W(i,j))=FLR(i′,j′)W(i,j)(6)
4072
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
