论文阅读-Robust Image Retargeting via Axis-Aligned Deformation

标题：Robust Image Retargeting via Axis-Aligned Deformation
年份：2012
作者：Daniele Panozzo，Ofir Weber，Olga Sorkine
代码：AARetargetingSource.zip
作者主页：HomePage

作者一个意大利人，一个瑞士人，一个美国人，老觉得文章读起来有点不顺，是我太菜了吗…T_T…

摘要

我们提出轴对齐变形空间作为内容感知图像重定向的有意义空间。

这种变形排除了局部旋转，避免了有害的视觉失真，并且它们在1D被参数化。

我们证明了用于图像重定向的标准翘曲能量可以在轴对齐变形的空间中最小化，同时保证满足双射性约束，导致高质量、平滑和鲁棒的重定向结果。

由于1D参数化，我们的方法只需要求解一个小的二次方程，这可以在CPU上在几毫秒内完成，没有预计算开销。

我们演示了如何使用我们的方法实时改变图像大小和显著图，并在各种输入图像上显示结果，包括RETARGETME数据集。

我们将我们的结果与用户研究中的其他六种算法进行了比较，以证明轴对齐变形的空间适用于手头的问题。

1.介绍

为了避免因均匀缩放而导致的图像失真，或因剪切而导致的重要部分被丢弃，开发了内容感知的重定向技术。

缺少局部旋转导致重定向变形成为轴对齐，即变形后等参线保持直线和平行，仅改变它们之间的间距(见图2)。

因此，我们的主要观察是，轴对齐变形的空间是内容感知图像重定向的合适空间。

这个观察有重要的结果。首先，变形空间可以在1D参数化，因为轴对齐的变形由垂直和水平等参线之间的间隔确定。

以前的重定向方法参数化2D中的变形，导致 $M\times N$ 个未知数数量级的优化问题，其中 $M，N$ 是垂直和水平输入图像分辨率，而1D参数化只需要 $O(M+N)$ 个未知数。

此外，防止折叠和控制轴对齐变形的拉伸是简单和鲁棒的，因为它仅仅对等参线间距构成线性不等式约束。

这些约束总是可以以可行的方式提出，这与先前提出的关于缺少折叠的2D约束相反。

2.先前工作

基于翘曲的内容感知重定向方法，往往定义一个能量函数，并在给定的目标图像尺寸的边界条件下最小化这个函数。

这个能量通常测量翘曲相对于形状保持变形(例如平移，刚性变换，相似性)的局部偏差，由重要性图加权。。。。。。

我们在变形空间中直接对轴对齐进行编码，并证明它不仅极大地减少了优化问题的规模，而且提供了高质量的重定向结果，同时保证了鲁棒性。

3.算法

我们展示了如何在轴对齐的变形空间中，将内容感知的图像大小调整问题转换为一个小的二次方程。

变量的数量在图像边界的大小上是线性的。

我们最小化的能量函数是凸函数 ，并且找到全局最小值通常需要不到4 ms。

输入图像的宽度和高度记为 $W$ 和 $H$。

与大多数基于翘曲的重定向方法一样，我们在图像上覆盖一个均匀的网格，有N列和M行；

在初始网格中，每列（也是每一个网格）的宽度为 $W/N$ ,每行的高度为 $H/M$。

任务是为调整大小的图像计算一个变形的网格，具有所需的总宽度 $W^{\prime }$ 和 $H^{\prime }$。

在连续的设置中，一个轴对齐变形能够完全由沿边界的垂直和水平变形导数来描述。

在我们的离散设置中，我们假设轴对齐变形是分段线性的(在每个网格单元上是线性的)，因此它完全由变形网格列的宽度和变形网格行的高度决定。

令
$$s^{rows}=(s_1^{rows},s_2^{rows},...,s_M^{rows})$$ 表示行的未知高度，
$$s^{cols}=(s_1^{cols},s_2^{cols},...,s_N^{cols})$$ 表示列的位置宽度。
轴对齐变形因此可以表示为未知变量的向量 $s=(s^{rows},s^{cols}{)}^T\in R^{M+N}$

计算重定向图像网格的优化的一般形式是:
$$minimize(s^{T}Qs+s^{T}b)...............(1)$$

边界条件：
$$s_i^{rows}\ge L^h,i=1,...,M..............(2)$$
$$s_j^{cols}\ge L^w,j=1,...,N..............(3)$$
$$s_1^{rows}+...+s_M^{rows}=H^{\prime }..............(4)$$
$$s_1^{cols}+...+s_N^{cols}=W^{\prime }..............(5)$$

为了使上面的二次求解问题（QP）可行，我们只需要令
$$L^h\le H^{\prime }/M,L^w\le W^{\prime }/N$$
简单的均匀缩放提供了一个可行的解决方案

可行域是有界的， 并且由于 ∀ i ,   0 ≤ s i ≤ m a x { H ′ , W ′ } \forall i,\ 0\leq s_i\leq max\{H',W'\} ∀i, 0≤si​≤max{H′,W′},使得（1）中的目标函数在可行区域中是有限的。

能量应该这样定义，Q是正(半)定的；我们的问题是凸的，可以用标准的QP解算器求解。

3.1 能量函数

先验知识：
最小二乘法公式：
$$||As-B|{|}_2^2=(As-B{)}^T(As-B)$$
$$=s^T{A}^{T}As-2s^T{A}^{T}B+B^{T}B$$

图像重定向方法依赖于显著图 $\omega (x，y)$，该显著图为图像的每个像素分配0到1之间的重要性值。

我们的目标是计算一个变形，尽可能地保留显著区域的图像，并将不可避免的变形集中在不太重要的区域。为了在我们的公式中整合显著性图 $\omega$，我们在原始图像上的网格的每个单元内平均它的值，并且我们获得显著性矩阵 $\Omega \in R^{M\times N}$。在我们的分段线性设置中，这种每个单元的显著性积分是适当的有限元（FEM）离散化。

在我们的框架中，我们考虑了两种能量，它们通常被先前成功的重定向方法所使用:

• Similar-As-Possible (ASAP)能量：产生局部接近相似的变形
• As-Rigid-As-Possible (ARAP)能量：惩罚除平移和旋转以外的所有局部变形

图4显示了这些能量的示例结果。

ASAP能量
在轴对齐变形的空间中，由于旋转被消除了，一个相似变形是均匀缩放和平移的组合。

ASAP能量因此最小化不均匀缩放：
$$E_{ASAP}=\sum _{i=1}^M\sum _{j=1}^N({\Omega }_{i,j}(\frac{M}{H}{s}_i^{rows}-\frac{N}{W}{s}_j^{cols}){)}^2.................(6)$$

两个因子 $M/H$ 和 $N/W$ 补偿原始网格中单元格的纵横比。

为了使用我们的QP框架最小化这种能量，我们定义了下面的矩阵 $K\in R^{(MN)\times (M+N)}$

$$K_{k,l}\{\begin{array}{cc}{\Omega }_{r(k),c(k)}\frac{M}{H}& ifl=r(k)\\ & \\ -{\Omega }_{r(k),c(k)}\frac{N}{W}& ifl=M+c(k)\\ & \\ 0& otherwise\end{array}$$
其中， $r(k)=\lceil k/N\rceil$, $c(k)=((k-1)modN)+1$
从这个等式， $K_s$ 给出了每行带有能量项的向量，并且 $E_{ASAP}=s^T{K}^{T}Ks$。

使用等式（1）中的通用符号， $Q=K^{T}K,b=0$。显然，Q是半正定矩阵，这样能量是凸的。

个人猜测性推导验证（感觉好理解一点）

ARAP 能量
在我们的轴对齐变形空间中，一个刚性变换会被简化为一个平移，因为定义中旋转是不被允许的。

因此ARAP能量最小化均匀与不均匀缩放：
$$E_{ARAP}=\sum _{i=1}^M\sum _{j=1}^N{\Omega }_{i,j}^2((\frac{M}{H}{s}_i^{rows}-1{)}^2+(\frac{N}{W}{s}_j^{cols}-1{)}^2)$$

为了利用我们QP框架最小化这个能量，我们定义了如下两个矩阵 $R^{top},R^{btm}\in R^{(MN)\times (M+N)}$:
$$R_{k,l}^{top}=\{\begin{array}{cc}{\Omega }_{r(k),c(k)}\frac{M}{H}& ifl=r(k)\\ 0& otherwise\end{array}.............(8)$$
$$R_{k,l}^{btm}=\{\begin{array}{cc}{\Omega }_{r(k),c(k)}\frac{N}{W}& ifl=M+c(k)\\ 0& otherwise\end{array}.............(9)$$

其中， $v\in R^{MN},v_k={\Omega }_{r(k),c(k)}$

我们现在可以用矩阵符号重写ARAP能量:
$$E_{ARAP}={\left(\left[\begin{array}{c}{R}^{top}\\ R^{btm}\end{array}\right]s-\left[\begin{array}{c}v\\ v\end{array}\right]\right)}^T\left(\left[\begin{array}{c}{R}^{top}\\ R^{btm}\end{array}\right]s-\left[\begin{array}{c}v\\ v\end{array}\right]\right)$$

在公式（1）的通用符号中，
$Q={\left[\begin{array}{c}{R}^{top}\\ R^{btm}\end{array}\right]}^T\left[\begin{array}{c}{R}^{top}\\ R^{btm}\end{array}\right]$, $b=-2{\left[\begin{array}{c}{R}^{top}\\ R^{btm}\end{array}\right]}^T\left[\begin{array}{c}v\\ v\end{array}\right]$
个人猜测性推导验证（感觉好理解一点）

同样，Q矩阵的形式清楚地表明它是半正定的，因此ARAP能量是凸的。

注意即使中间矩阵 $K,R^{top},R^{btm}$ 有 $MN$ 行，它们非常稀疏，而且在程序上构建速度很快。

结果 QP的$Q$ 矩阵是正方形，有M+N行/列，这意味着它们很密集但很小。还要注意的是，在我们的轴向变形空间中，其他能量也可以类似地表述出来；

我们选择将注意力集中在以上两个能量，因为它们是常用的，通常会提供良好的结果。此外，可以线性组合这两种能量，以获得可选的自由度。

可以通过将参数 $L^w$ 和 $L^h$ 设置为零,自然地将裁剪结合到我们的方法中。然后，优化过程能够折叠行和列，从而裁剪原始图像

3.2 拉普拉斯正则化

我们可以用正则化能量来丰富上面显示的能量，从而增加最终变形的平滑度。

拉普拉斯正则化允许在图像上更均匀地分布变形，并且对于手动绘制的显著性图特别有用，因为它们倾向于将显著性集中在图像的不同部分上，并且在其他地方突然下降为零(即，这种显著性图非常不平滑)。

拉普拉斯正则化效果的例子见图6。

拉普拉斯项定义为：
$$E_{reg}=\sum _{i=1}^{M-1}(\frac{M}{H}(s_{i+1}^{rows}-s_i^{rows}){)}^2+\sum _{j=1}^{N-1}(\frac{N}{W}(s_{j+1}^{cols}-s_j^{cols}){)}^2...................(12)$$

正则化会惩罚大小差异很大的两个相邻行或列。请注意，使拉普拉斯最小化的变形是均匀缩放，使得该正则化项可以被视为混合均匀调整大小和由加权因子 $w_{reg}\ge 0$ 控制的ASAP 或ARAP变形的一种方式。

为了将正则化项纳入QP（1），我们简单地将能量项 $s^T(w_{reg}L)s$ 加入能量函数，其中 $L$ 是等式（12）中标准的拉普拉斯矩阵。换句话说，我们将矩阵 $w_{reg}L$ 加入等式（1）中的 $Q$。

拉普拉斯矩阵是半正定的，因此这个能量项不会损害问题的凸性。

3.3 三次样条插值

什么是三次样条插值？
可以看这个视频 插值法：三次样条插值函数，数值微分，共4集(特别第2，3集)，看一下可以快速理解！

ASAP和ARAP能量的公式，以及拉普拉斯正则项，是连续对应物的适当的线性有限元近似，使得在均匀网格细化下收敛是预期的。

我们已经观察到，优化的结果不太依赖于网格分辨率(见图7)；这也是有意义的，因为我们在1D参数化的受限变形空间不允许巨大的局部变化。

25×25的粗网格分辨率(即50个优化变量)在大多数情况下足以真实地描述变形图。然而，这种粗略的双线性网格可能不足以为具有非常高分辨率的图像提供高质量的结果，因为双线性插值在网格线上不平滑。

为了改善高分辨率图像的插值结果，我们可以选择使用B样条插值来对重采样网格进行上采样。

我们使用变形的网格顶点作为控制点，定义了一个均匀的三次B-样条。

这可以在1D使用两个1D立体B样条来实现:一个用于行，一个用于列。
我们对密集水平和垂直位置的样条进行采样，以便产生任意分辨率的新网格。
最终的重定向图像是通过在这个更精细的网格上双线性插值创建的。

我们的变形网格所描述的变形保证始终是双射的，并且由于变化递减特性，用样条获得的更精细的网格也保证是无折叠的。图8给出了一个改进的例子。