Adaptive General Scale Interpolation Based on Weighted Autoregressive Models论文总结

摘要：

   考虑到自然图像的非平稳性，本文提出一种使用任意尺度因子（窗口大小的选择）的自适应尺度插值的算法。

介绍：

•     考虑到自然图像在局部区域的不稳定性，提出了一种能适应任意的尺度因子的图像插值算法。如图所示，图像插值算法可以通过调整AR模型的组成和数据保真约束来最优化，新的AR模型由像素未知的HR邻域构建。
•     受weighted least-squares interpolations的影响，我们提出了一种适用于一般尺度情况的加权方案，由局部窗口中的像素之间的相似性，来调整AR模型的参数。 由于两个AR模型的HR像素和参数都是未知的，所以可以利用结构化的最小二乘解（STLS）来线性化目标函数并通过迭代过程来解决问题。

                                     

AR模型

•  在图像插值中，AR模型被认为是局部图像结构的表示，它可以基于给定的信息获得像素的估计，这意味着图像中的每个未知插值像素可以通过其具有特定权重的已知相邻像素来估计。（相同的结构对应同一个线性回归模型）表示为如下公式：

                       

• AR模型及其参数试图表征局部窗口W的局部结构。 基于图像在局部窗口W中保持稳定的假设，W中所有AR模型的参数都被认为是相同的。这个参数可以通过求解线性最小二乘问题来计算。
  

                                      

其中X是由W中所有M个像素组成的M×1向量。 Xn是M×1矩阵，其中Xn的第i行由X中的第i个像素的l个相邻的邻居组成。具体地，在2×放大中，Xn完全由LR像素构成。 在这种情况下，AR参数φ应该是表示l个相邻邻居的所有权重的l×1向量。 最小二乘问题计算最小化估计误差的参数φ。

•    为了更好地估计，应用两种不同方向的AR模型。为了估计像素的值，其中一个使用像素的对角线邻居，而另一个使用该像素的横向邻居。如下图所示。

                                                     

     像素的对角线相邻像素是像素的左上角，右上角，左下角和右下角的像素;它的横向邻居是四连接的邻居。通过在本地窗口中执行这两个AR模型可以计算两组模型参数。因此，对像素的限制更强，未知像素可以更精确地估计。

•    这些类型的AR模型有两个缺点。首先，在一般尺度情况下，局部窗口W中可能没有足够的LR像素来估计未知的HR像素。其次，上述固定假设并不总是适用于大多数自然图像。

一般图像插值算法

A.任意尺度因子的一般插值

•     在大多数基于AR的插值方法重建的HR图像中，总是有大量的像素直接从LR图像中提取。 换句话说，这些像素与LR图像中的对应像素完全相同。 我们将这些像素命名为fixed-pixels，并将其他像素的像素命名为inter-pixels 。 在HR图像中的局部区域，fixed-pixels越多，我们可以获得的信息就越多插值的inter-pixels，下图展示了随着尺度因子的改变，这两个像素之间的位置。

                      

      我们假设局部稳定性仍然存在并应用2×插值算法为两个AR模型专用。 不同基于AR模型的2×插值算法，inter-pixels是由它的相邻像素估计的（而不是它的相邻fixed-pixels）。公式如下：

                                 

                                        

由Fig3可以看出Y是一个的向量表示高分辨率图像的局部窗口。可以由上图看出。Yb是由局部窗口的边界像素组成，Yc是由除边界像素外的值构成。是控制两个AR模型权重的系数，A和B是的矩阵(T-2如何得到的)，定义为

                                         

是a和b的第k个元素，a=,此AR模型不能用（2）式计算，

• 由于固定像素没有用于HR的AR模型图像，这些有价值的像素可用于构建数据保真度约束作为HR图像重建项。对于HR图像中的局部窗口，我们通过双三次插值进行下采样并将其与相应的LR图像中的窗口进行比较。约束表示如下                                                                      

     X包含了对应的LR图像的窗口的像素，矩阵D代表下采样过程，控制约束的最值。

     局部窗口边界上的像素不被AR模型估计，因此采用yc来执行数据保真度约束。 这种约束在专用的2×插值算法中是无用的，因为下采样的像素与LR图像中的对应像素完全相同。

B.局部窗口的权重分布

  在大多数的局部窗口中，自然图像不能保持稳定，所以引入weighting scheme 来计算输出像素和局部窗口中其他像素的相似点。在和中心值相似的点设置大的权重，两个像素之间的相似性权重取决于以两个像素为中心的局部结构的相似性。因此权重由两部分组成，一部分是两个像素局部结构之间的相似性，另一部分是测量它们之间的空间距离。所以权重可以定义为如下

                                   

   在获得所有像素到局部窗口W的中心像素的权重后，可以得到当前窗口的权重分布矩阵W。

C. Generalized Interpolation Algorithm

目标函数如下：

                                    （9）

目标函数表示最小化预测误差和数值保真项。为了方便表示，将等式表示成最小平方问题，

                              残差矢量

公式（10）中的最小平方问题是非线性的，为了容易计算，令，分别是y，a,b的小的改变。

为了更好的约束像素值，设像素值在窗口的边缘不改变，即为0.A和B可以分解为和。分解可以参考Y的分解。

                                     高阶无穷小

  相似的，可以得到

                                         

令

                                       

因此，非线性问题转化成了线性问题。是未知量，给定初始值Y，a,b我们可以得到，然后在下一次迭代中使用它更新Y，a，b。

接下来是大白话的理解。

    为了获取插值系数,需要考察己知像素点的值,利用已知低分辨率像素点的值，来构造线性自回归模型,进而求解AR参数。为了保证参数求解的稳定性,需要考察大量的原始低分辨率图像的像素点。在待插入点附近开一个训练窗,通过窗内的点来构造AR模型。求解过程采用加权最小二乘。本文在求解中,将窗内的点与被插值点的距离考虑进去,根据高斯模型按距离构造一个权值函数,使得聚中心点越近的点权重越大。

     通过一个窗，来求该点的高分辨率值。

   过程如下：

1、先用某个插值法对图像进行初始化插值，得到初始值。

2、在待插入点附近开一个训练窗,通过窗内的点来构造AR模型。

3、为了获取插值系数,需要考察己知像素点的值,利用已知低分辨率像素点的值来构造线性自回归模型,进而求解AR参数。

4、求解参数过程采用加权最小二乘。

5、不仅考虑待插值点与其最近四个点的关系,而是考虑它与周围点的多个约束关系。这多个不同关系之间,根据其对待插值点的影响,为其分配一个合理的权重,从而由这几组不同的关系之间的组合获得最终的待插值点的值。

总结：

1、对得到的权值归一化处理

2、赋给值不同的权重系数，可以用在其他方面。

3、窗的使用。

4.回归模型的使用。（也许可以把回归模型换成其他的模型，根据图像像素之间的结构特点来构造线性自回归模型）