论文阅读--DeepIR: A Deep Semantics Driven Framework for Image Retargeting

标题： DeepIR: A Deep Semantics Driven Framework for Image Retargeting
会议： 2019 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)
来自文章《Weakly Supervised Reinforced Multi-operator Image Retargeting》的评价：
DeepIR借助于预先训练的深度神经网络和特征级的均匀重采样实现了重定向，但由于网络的有限表示能力，它可能会过度压缩重要区域或过度维护不太重要的区域。

摘要

我们提出深度图像重定位(DeepIR)，一个用于内容感知图像重定向的粗到细的框架。我们的框架首先用深度卷积神经网络构造输入图像的语义结构。然后，设计一种适合语义结构保持的统一重采样方法，根据每个特征层的目标长宽比调整特征图的大小。由粗到细的最近邻域搜索和逐步的最近邻域融合产生最终的重定向结果。在广泛使用的 RetargetMe 数据集上，我们用定性和定量的结果验证了我们模型的有效性。

1.介绍

本文提出了一种新的内容感知图像重定向框架。

我们的方法使用预先训练的深度CNN，如VGG-19来构建一个特征空间，在其中执行图像重定向。

为了将原始图像调整到深度特征空间中的目标长宽比，我们设计了一种统一的重新采样(UrS)，它统一地移除累积列/行模糊度图中的列/行。

如图1(e)所示，这样的UrS确保了调整后的特征图的语义结构完整性，并且在最终的重定目标图像中也保留了内容的平滑性。

然后，使用由粗到细的最近邻域（NNF）搜索来寻找原始图像和重定向图像的中间特征层之间的空间对应关系。

在每一层，分别由重构特征和重定向特征得到的两个神经网络融合，实现高、低层信息的融合，称为分步NNF融合。

2.相关工作

。。。。。。

Cho等人(2017)首次将深度CNN应用于图像重定向。训练一个弱自监督的深度卷积神经网络 WSSDCNN 用于移位图预测。然而，定量结果表明，它只比SCL（均匀缩放）和SC（接缝裁剪）有优势。

与 WSSDCNN 相比，当给定一个预先训练好的CNN时，我们的方法不需要任何训练过程。此外，在第4节中，我们的DeepIR显示了与SOTA方法(比如，MULTIOP, SV)相当的性能。

3.方法

下图显示了提出的DeepIR框架的整体架构。该模型主要包括三个部分:深度特征构建、深度特征重定向和重定向图像重建。详情将在以下章节中介绍。

3.1 预处理

为了获得原始图像的深层特征空间，我们利用在ImageNet数据库上预先训练好的VGG-19网络作为我们的深层CNN。

对于原始图像 $O$, 我们获取它特征图的一个金字塔 { F O L } ( L = 1...4 ) \{F_O^L\}(L=1...4) { FOL​}(L=1...4).

之所以选择VGG 19网络的前四层作为特征空间，是因为较高层的特征地图分辨率太小，基于它们重建目标图像太困难。

对于每一层，原始图像的特征图是大小为 $h_O^L\times w_O^L\times c_O^L$ 的3D张量。

3.2 均匀重采样

为了在深度特征空间将原始图像缩放到目标长宽比，我们设计了一个均匀重采样（UrS）方法，在一个累积列/行模糊图中移除列/行。

正如谋篇文章所证明的，较高语义重要性的区域导致特征图中更强的激活，给定特征图 $F_O^L$, 一个重要图首先可以计算为：
$$m_O^L(i,j)=\sum _{c=1}^{c_O^L}{F}_O^L(i,j,c)$$
接着不失一般性地，模糊图，一张给非重要（模糊）列更高权重的图，可以计算为：
$$u_O^{L,w}(j)=-\sum _{i=1}^{h_O^L}{m}_O^L(i,j)$$
然后模糊图 $u_O^{L,w}$ 通过最小-最大归一化来归一化，表示为 ${\hat{u}}_O^{L,w}$ 。
自此，累积模糊图可计算为：
$$s_O^L$$