VFN模型

摘要

照片构图是影响摄影审美的重要因素。然而，由于缺乏适用于各种摄影风格的全局规则，对好作品的美学特性建模是一项极具挑战性的任务。

受拍照思维过程的启发，我们将照片构图问题表述为一个寻找视角的过程，该过程依次检查成对的视角并确定它们的审美偏好。

我们进一步利用网络上丰富的专业照片来挖掘无限的高质量排名样本，并证明可以在不明确建模任何摄影规则的情况下训练美学感知的深度排名网络。

就其架构设计和数据采样方法而言，所得模型简单有效。

它也是通用的，因为它自然地学习任何隐含在专业照片中的摄影规则。实验表明，在两个图像裁剪数据集上，所提出的视图发现网络通过滑动窗口搜索策略实现了最先进的性能。

1.介绍

基于一些研究现象，作者将（Learning-to-compose）学习组合问题公式化为两两视图排序过程。

我们表明，这个学习组合问题可以通过一个简单而强大的视图发现网络(VFN)来有效地解决，该网络被训练为尊重构图好的图像而避免构图差的图像。

VFN由广泛使用的对象分类网络 Imagenet 组成，可选地增加了空间金字塔池化（SPP）层。

VFN没有使用任何复杂的手工特征，而是通过将不同的视图以审美顺序的形式联系起来，从例子中学习最佳摄影实践。

2.之前的工作

总结之前方法要面临的主要挑战：
1）基于规则的特征的有限适用性
2）为训练获取构图信息的困难。现有的方法或数据库通过依靠少数专家[36，10]或众包[26，17，5]来注释和验证训练数据来建立它们的训练数据，这使得难以扩展

在这项工作中，我们用一个易于获得的大规模训练数据驱动的通用模型来解决这些问题。

3.方法

我们使用视角查找网络对图像构图或者视角查找进行建模。

VFN，由一个CNN和一个排序层组成。
VFN将两个视图作为 输入并预测出要一个构图上更加令人愉悦的视图。

VFN通过最小化具有已知审美偏好的图像对的混乱来学习其视觉表示(即，优化CNN的权重)。理想情况下，通过研究大量的例子，VFN学会了构图，就像人类专业人员学会了他们的技能一样。

3.1 挖掘成对排序单元

当给定一幅源图像时，我们根据经验设计了以下裁剪采样策略:
1)我们总是形成原始图像和裁剪对，因为两个随机裁剪之间的美学关系很难定义，因此需要人类验证[5]。
2)为了丰富在不同视图中选择最佳视图时所需的示例集，我们包括了不同比例和纵横比的裁剪。
3)为了最好地利用 $I$ 中的信息，我们的目标是最大化 $I$ 上裁剪的覆盖范围，同时最小化裁剪之间的重叠。

最终的裁剪采样流程如图2所示：

3.2 视角查找网络

给定一张图像 $I_j$ 和它对应的裁剪 $C_j^n$, 则VFN模型的目标函数是学习一个映射函数 $\Phi (.)$, 这个函数根据 $I_j$