计算摄影——自动构图

        这一章主要讲一下构图的基本概念、应用场景、常用数据集和一些方法。

什么是构图

        我们所说的构图，简单来说就是指镜头的取景范围内，对镜头中所包含的所有元素进行取舍和布局，起到突出主题，交代背景，刻画人物情感，保证图像美感的作用。常见的构图方式主要有：黄金分割构图、三分法构图、居中法构图、引导线构图、三角形构图、曲线构图、重复法构图等。如下图则是三分法构图的示例：

构图的应用场景

        自动构图除了在图片修图上的应用之外，还可以用在拍摄时进行智能推荐构图，指导拍摄者进行前后或者左右的移动，这叫做构图推荐；另外在一些场景中需要将图片放到一个尺寸与其不匹配的地方，这就要求要保留图像的原始重要信息以及目标比例等，这叫做构图重匹配，缩略图生成等。

自动构图的方法

        自动构图这个任务，常见的方法包括基于构图准则的构图方法、基于显著图的构图方法、基于美学的构图方法等。

1、基于构图准则的构图方法

        由于专业摄影中构图有一些构图准则，因此也就引申出了基于构图准则的构图方法，该方法的关键在于如何进行量化，比较常见的是三分法构图，通过判定当前拍摄场景的主体距离三分线四个顶点的距离大小，取四个顶点中距离最短的那个距离作为衡量指标，在不同构图方式中，选择最短距离最小的构图则为最优。

                     

        还有一些其他的构图准则，但是通常比较难去定量的评估，而且对于不同的图像效果也不同，因此应用较少。

2、基于显著图的构图方法

        由于人眼在观察一个场景时，会自动的对感兴趣的区域进行处理而选择性的忽略不感兴趣的区域，这个区域就叫做显著性区域，在构图时，我们也可以应用这特点，基于显著性目标检测的结果来构图。

        基于显著图的构图方法，就是研究如何用最小的裁剪窗口使得注意力总和最大化，注意力总和最大可以定义为图像中所有像素值的和，他是图中的有效信息。

        这个方案可以得到最紧凑的保留目标信息的裁剪结果，可以用于缩略图的生成，但是却缺少对于构图准则和美学质量的考量，可能导致裁剪出来的图像不太美观。

3、基于美学的研究方法 

        基于美学的研究方法更加符合摄影师构图的原理，它会裁剪出美学质量分数更高的区域。一种比较直观的方案，就是对裁剪的框进行美学评估，取美学评分更高的裁剪框就可以了，那么问题就在于，如何快速的找到这个框。

        暴力搜索是一种方案，但是其计算量太高，并不能实际应用，因此借鉴上面方案的思想，我们可以基于显著图预处理的方法，来缩小裁剪框查找的范围。首先训练一个显著目标检测网络，使用它可以得到显著目标区域的初始化框，在它的附近，就可以根据不同大小和比例得到一系列候选的裁剪框，然后用美学评分模块进行评分，如下图：

        除了基于显著图预处理的方案之外，还可以使用基于增强学习的方案，比如A2RL框架，可以更加高效的搜索裁剪框，如下图：

算法总体框架如下：

         先把剪裁的图片进行5层的卷积，然后经过一个全连接层输出一个向量作为Local Feature，并合并上对原图的卷积的结果最为RL算法的输入o_t。其中即时的回报通过把Local Feature 放入预先训练好的网络VFN来获得。因为算法采用的是Actor-Critic框架，所以输出分为两个部分，一个是由Actor输出的action,另一个是由critic输出的对该action的评价。

构图相关的数据集

        CUHK Cropping数据集：由经验丰富的摄影师手动裁剪，共950张图像，覆盖了动物、建筑、人物、风景、夜景、植物、静物，裁剪参数包括裁剪框的左上角和右下角的坐标，每一张图像由三个摄影师进行标注。

        Flickr Cropping数据集：共包括1705张图像，由摄影爱好者进行裁剪，然后由标注人员进行选择。

        CPCD数据集：共包括10798张图像，原图来自AVA、COCO等数据集，每张图生成24个裁剪结果，然后由6个标注人员进行选择，标注出相对美感分数。

参考链接：
A2-RL: Aesthetics Aware Reinforcement Learning for Image Cropping Debang_星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧的博客-CSDN博客

计算摄影 | 计算机如何学会自动裁剪图片（自动构图）？_小白学视觉的博客-CSDN博客

书籍：《深度学习之摄影图像处理》