Image Retargeting：RAPID IMAGE RETARGETING BASED ON CURVE-EDGE GRID REPRESENTATION

论文1:
RAPID IMAGE RETARGETING BASED ON CURVE-EDGE GRID REPRESENTATION
基于曲线边缘网格表示的快速图像重定位

本文提出了一种基于均匀采样和结构感知的曲线边缘网格表示相结合的图像重定位方法。
首先通过动态规划将原始图像分解为曲线边缘网格，然后对网格内的像素点进行均匀采样，生成目标图像。

Before:

1 、 Seam carving:
Seam carving计算每个像素的能量，并通过动态编程迭代移除最小能量的接缝。
2、Non-homogenous warping:
非均匀扭曲通过求解大型稀疏线性系统来重新定位像素。

3、Scale-and-stretch/ constrained region warping:
缩放拉伸法和约束区域扭曲法[2]通过二次规划将图像分解为正方形网格或梯形网格，并重新定位网格顶点。
4、、Multi-operator:
多算子方法利用多个算子进行重定目标，通过最大化原始图像和目标图像之间的相似性来寻找最佳的算子序列。

缺点：时间消耗大

简单方法：
1、uniformly scale the image to the target size:
缺点：it may cause important content distortion and details loss.

2、Cropping and fisheye-view warping:（鱼眼？？）
缺点：may cause much background information loss, and they are invalid when the impor- tant objects are sparsely distributed.

3、Row/column removal：
缺点：obtains poor performance when the image has complex structure.

本文：
提出了与图像内容和重要性能量图（图1（b））的底层结构一致的原始图像（图1（d））的曲线边缘网格表示，并在网格内约束像素采样。特别地，我们提出了一种新的基于连通图（图1（c））的动态规划生成曲线边缘网格的图像分解方法，其结果可以避免后续采样中的伪影。目标图像（图1（e））通过对网格赋予不同的重要性并在重定目标时保留网格边界，可以很好地突出重要内容并保持图像结构。

该论文方法：水平和垂直分开处理。（只展示了垂直）

2.1. Carving graph construction

2.2. Curve-edge grid generation
本文：选择这些聚类路径来表示分解过程中的图像结构。对于每个聚集路径，我们保留从它开始的所有路径中边权和最大的路径（图3（b）中的红色路径）。类似地，我们从下到上逆地执行该过程，并且使用所选择的路径来表示下半部分的图像结构（图3（c））。由于当图像高度较大时，路径可能过度聚集，我们通过将对角线边缘的长度设置为等式（1）中垂直边缘长度的两倍来惩罚对角线路径。

由于来自不同方向的路径生成不是对称的，可能会产生部分重叠的路径（图3（d）），这可能导致图像的过度分解。因此，当重叠像素数大于预先定义的阈值时（在我们的实验中使用0.5H），我们将这些路径合并。在路径组合中，对于两条路径中的每个不同部分，我们根据其位置进行选择：位于上半部分时从上下路径中选择部分，位于下半部分时从下半部分中选择部分。这样，我们得到图像的垂直分解（图3（e））。同样，我们可以得到图像的水平分解。然后，根据分解结果将图像表示为曲线边缘网格（图3（f））。

CONSTRAINED UNIFORM SAMPLING
目的：均匀调整图像大小
在曲线边缘表示的约束下，通过均匀采样调整图像大小。水平调整大小和垂直调整大小是由相应的网格边界独立约束的，因此它们可以单独执行。这里，只讨论水平调整大小。

假设图像被分解成M×N曲线边缘网格，同一列{Gi，}中的网格被视为处理单元，其中的像素在每行中均匀采样。显然，如果我们想要保留一个单位边界，那么应该在其左/右每行中删除相同数量的像素。这意味着当保留所有网格边界时，每行移除的像素数应在一个单位内相等。
对于每个处理单元ui，每行中移除的像素的有效数量受其内所有行的最小宽度限制。然而，仅使用最小宽度可能导致在不太重要的处理单元中过度采样，这可能导致严重的上下文信息丢失和破坏图像布局（图4（f））。因此，我们计算单位ui的每一行中移除的像素的有效数量，如下所示：

其中c（i）是每行ui中移除的像素的有效数量；widmin（ui）是ui中所有行的最小宽度；N（i）是ui中的总像素数量；E（i）是ui中的平均像素重要性能量，在[0,1]的值范围内；o是控制重要内容的重点的参数，更大的􏰆导致更多的强调（在我们的实验中使用􏰆1）。
我们根据像素的平均重要性能量，从低到高，将所需移除的像素数量有序地分配到各个单元。当数字超过所有单元的有效数字之和时，我们迭代删除重要性最小的单元边界，并对组合单元中的像素进行采样。这里，单位边界的重要性被定义为相邻网格的平均像素重要性能量的最大值。移除所有单位边界后，图像将均匀缩放。图4（g）示出了我们的重定目标结果的示例。由于均匀采样受曲线边缘网格表示的约束，图像结构在目标图像中保持良好。

实验：

我的感悟：
过程有一点像sc，总体实验效果，还好，这篇文章重点在速度上。但是思想方法上肯定比sc先进了。
与sc的不同之处：
Seam carving计算每个像素的能量，并通过动态编程迭代移除最小能量的接缝。（我需要再去研读一下seam carving的论文）
本文的方法，基于均匀采样和结构感知的曲线边缘网格表示相结合的图像重定位方法。首先通过动态规划将原始图像分解为曲线边缘网格，然后对网格内的像素点进行均匀采样，生成目标图像。

本文的优点：
1、时间上比较快。
2、同等计算速度上，效果还是很明显的

总结一下：
提出了一种基于均匀采样和曲线边缘网格表示相结合的图像重定位方法。提出了一种基于动态规划的图像分解方法用于曲线边缘网格的生成，并利用一定的约束条件来提高采样效果。该方法具有均匀采样计算量小、曲线边缘网格图像结构表达能力强等优点，在重定位效率和效果上都取得了良好的效果。