文献阅读2021.1.31

最新推荐文章于 2024-09-14 20:23:55 发布

北城以念，何以为安！

最新推荐文章于 2024-09-14 20:23:55 发布

阅读量242

点赞数 1

分类专栏：图像美学文章标签：机器学习计算机视觉人工智能深度学习

本文链接：https://blog.csdn.net/qq_35406817/article/details/113562427

版权

图像美学专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Transfer in Photography Composition（CHANG H-T, WANG Y-C F, CHEN M-S. Transfer in photography composition; proceedings of the Proceedings of the 22nd ACM international conference on Multimedia, F, 2014 [C].）
解决的问题：在本文中，提出了一种新颖的摄影重组方法，旨在将参考图像的摄影构图自动转移到输入图像。而无需使用任何有关摄影的先验知识或预定的图像美学规则。
核心思路：首先识别出显著的前景对象或感兴趣的图像区域，然后通过解决基于图匹配的优化任务来执行重组。通过额外的后处理步骤来保留重组视觉组件的局部性和边界信息。
在这里插入图片描述

（1）前景图的检索
给定图像I和空对象集O，应用显著性检测方法得出I的显著性图S（I）。对于具有最高S（I）和高于预定阈值的图像区域，它将被视为显著区域。然后将该显著区域从I中删除。重复执行此过程，直到所有显著区域都被标识并收集到O中为止。在这里插入图片描述

从输入图像和参考图像中成功分割出显著的前景区域后，对背景图进行修复。
（2）跨图像摄影重组
<1>通过合成图表示图像
定义了组成图G =（V，E，A），用于描述图像及其显著的前景区域，其中V表示代表提取的显著区域的顶点，E是连接这些顶点之间的边，并且A表示每个顶点和边的属性。对于图像中的每个显著图像区域，我们考虑其几何形状和大小以描述形状和比例，通过基于图形的表示根据它们的形状和比例信息描述每个图像的提取图像区域。
<2>通过图匹配进行重组
通过输入图像和参考图像的构图，确定这两个图之间的亲和力（即相似性）。
在这里插入图片描述

<3>重组优化
图形匹配输出可能会导致重组后的视觉组件未正确放置在输入图像中。对于每个重组图像区域，我们计算沿其边界的像素值与沿（将要定位的）背景区域的像素值之间的差。我们执行此类操作以搜索最佳位置（在R像素内，通常在图像宽度或高度的15％以内，并因观察到的位置偏移而受到惩罚），并且对应于最小差异值的像素将确定最终位置重组结果。在这里插入图片描述

借鉴点（展望）：未来的研究扩展包括研究和转移特定图像样式或主题的摄影构图，或从在线图像或视频数据中检索相似构图。
（2）R2p: Recomposition and retargeting of photographic images（CHANG H-T, PAN P-C, WANG Y-C F, et al. R2p: Recomposition and retargeting of photographic images; proceedings of the Proceedings of the 23rd ACM international conference on Multimedia, F, 2015 [C].）
在本文中，提出了一种新的方法来执行联合重组和重定向摄影图像(R2P)。给定一个感兴趣的参考图像，能够相应地自动改变输入源图像的组成，而重新组合的输出将被重新定位，以适应参考图像。
通过图匹配来重新组合源图像的视觉分量，然后解决基于约束网格扭曲的优化问题来实现的。
提出的R2P方法能够在视觉上获得满意的结果，而不需要使用预先收集的标记数据或预先确定的美学规则。在这里插入图片描述

核心思路：①在给定源图像和参考图像对的情况下，我们首先识别出两幅图像中的前景物体。(通过单遍算法: 受基于网格的图像重定向算法的启发，应用Canny边缘检测器检测图像的边缘，然后采样沿检测到的边缘的像素作为特征点。如图，我们将检测到的边缘和边界的特征点分别标记为绿色和蓝色。为了描述平滑区域(如图中天空)，增加了随机特征点，以收集足够数量的特征点进行表示。得到这些特征点后，我们利用Delaunay三角剖分算法构造三角形网格。该方法不是迭代地应用显著性检测来确定可能的前景对象，而是直接结合派生网格和显著性检测输出来分离前景和背景区域，这是通过DB-scan聚类实现的。最后，可以自动观察到设置的N个前景对象。)
在这里插入图片描述

②使用一个合成图G = (V, E, a)来描述每个前景对象，并且可以通过图匹配来进行重新合成。在这里插入图片描述

③提出了一种新的网格扭曲算法来解决重组和重新定位的任务同时进行。具体来说，目标是估算前景物体的位置和图像裁剪系数。
优化函数：

在这里插入图片描述

目标函数D共同解决了重组和重定向问题，具体如下: 在这里插入图片描述

（qn−pn < r-max。我们还限制了裁剪因子bi< b-max。参数r¬¬-max设置为原图像宽度的10%，b-max设置为原图像宽度的20%。）
目标函数E抑制图像失真：在这里插入图片描述

④通过纹理映射输出图像。（通过重心插值）
在这里插入图片描述

解决方法：提出了一个自动框架来执行联合重组和重新定位输入图像，以拟合感兴趣的参考。采用了图匹配来预测前景物体的位置，同时前景和背景区域都将被重新定位以拟合参考图像。通过求解一个基于约束网格扭曲的优化问题来完成的，该问题使恢复误差和图像失真都最小化。
创新点： ①通过解决基于图形匹配的优化问题，对源图像进行联合重组和重定向，使其在视觉上与参考图像匹配。②提出的方法是全自动的，不需要使用预先收集的标记训练数据，预先确定美学规则，或用户交互。