Composing Photos Like a Photographer_2021_CVPR论文笔记

像一个摄影师一样构图

摘要

Image cropping is considered a promising way to automate aesthetic composition in professional photography.

在专业摄影中图像裁剪被视为一种非常有前景的自动实现美学构图的方法。

比较点：

• 然而，目前的方法只是隐式地对这些专业知识建模，例如，通过比较候选图片来排名。
• 受到自然构图的特征总是遵循着特定规则的启发，本文提议以一种有区别的方式学习这些构图规则，更重要的是要将这些学习到的构图规则显示地合并到模型中。
• 文中提出了KCM（关键构图映射）概念来对这些构图规则进行编码。KCM可以揭示隐藏在不同构图规则中的普遍规则并且能够告知裁剪模型构图里什么是最重要的。
• 利用KCM，我们提出了一种新颖的按构图来裁剪的范例并通过实例化网络以实现构图感知图像裁剪。 在两个基准上的大量实验证明我们的方法能够实现有效、可解释和快速的图像裁剪。

1 简介

图像裁剪概念

在摄影领域里，不仅这些有吸引力的视觉成分很重要，而且它们还要遵循美学的标准。然而美学构图需要专业知识和拓展训练，那么普通人能够像摄像师一样来构图吗？在日常生活中普及这种知识和经验的渴望，驱使人们对计算机视觉领域中一个有趣的研究主题的热情，这个主题就是图像裁剪。

给一张随意拍摄的照片，图像裁剪的目的就是去除多余的、无关的区域并找到一个视觉成分符合美学构图的区域。

现有的美学激励方法不足

Aesthetics-inspired approaches consider that good image cropping should be able to extract the most ‘attractive’ area, expecting that such an area obeys photographic composition rules and aesthetic attributes [6, 10]. However, these approaches typically follow a cropping-by-ranking paradigm, without explicit modeling of the composition rules.

美学激励的方法认为，良好的图像裁剪应该能够提取出最“有吸引力”的区域，并期望这样一个区域符合摄影构图规则和美学属性。然而，这些方法一般遵循通过排序来裁剪的范式，而没有对构图规则的显式建模。

正如Fig1(a)展示的一样，现有技术通过预先设置大量的候选框，根据每个注意力机制评估或美学评估对框进行评分，并根据评分进行排序来生成裁剪结果。获得最高分数的候选框被认为是最终的输出。这个范式假设美学构图是在一组带有相对美学注释的裁剪视图上自动学习的。

Does the assumption above hold in reality? A key insight of this work is that good image cropping should model explicit, interpretable composition rules [13]. Explicitness informs certain composition rules one image obeys; interpretability indicates major elements that determine the composition. They can provide image cropping with reasonable and reliable clues.

但是上面的假设真的适用吗？这项工作的一个关键见解是良好的图像裁剪应该建模显式的，可解释的构图规则。显式性可以告知一张图片应该遵循一定的构图规则，而可解释性则指出决定构图的主要元素。它们可以为图像裁剪提供合理和可靠的规则。

通过构图来裁剪的范式、CACNet(构图感知裁剪网络)

In this work, we introduce a new cropping-by-composition paradigm and propose a novel Composition-Aware Cropping Network (CACNet) to model the composition rules explicitly within the network (Fig. 1(b)). We assume the composition rules are learnable.

在这项工作中，我们引入了一种新的通过构图来裁剪的范式，并提出了一种新的构图感知裁剪网络(CACNet)来明确地建模构图规则(图。1(b))。我们假设组成规则是可学习的。正如fig1(b)中展示的，新的图像裁剪方法通过几个构图规则(对角构图、水平构图以及其他构图规则)按比例分配进行merge,再通过KCM对这些构图规则进行编码得到新的构图裁剪角度来得到裁剪结果。

This assumption is inspired by the observation that composition generally follows the basic, common arrangement