【Image Cropping】Composing Good Shots by Exploiting Mutual Relations

最新推荐文章于 2024-08-16 19:24:03 发布

ImYhh

最新推荐文章于 2024-08-16 19:24:03 发布

阅读量49

点赞数

分类专栏：论文文章标签：计算机视觉人工智能深度学习

本文链接：https://blog.csdn.net/qq_44723189/article/details/132982609

版权

论文专栏收录该内容

2 篇文章 0 订阅

订阅专栏

通过利用相互关系来组合好镜头

摘要

问题：从输入图像中找到具有良好构图的视图。

一幅图像中通常至少有几十个候选区域，而对其评价是主观的。

现有方法大多使用每个候选区域的对应特征来评估质量。然而，候选区域之间的相互关系在组成一个好镜头中起着至关重要的作用，因为这个问题具有比较性质。

受此启发，本文提出一个带有门控特征更新的基于图的模块，用于建模不同候选区域之间的关系。候选区域特征在模拟不同区域之间的相互关系的图上进行传播，以挖掘有用的信息，从而自适应地融合关系特征和区域特征。

我们设计了一个多任务损失函数来训练模型，特别是采用了正则化项。将关于关系的先验知识融入到图里。

还开发了一种数据增强方法，通过混合来自不同图的节点来改善模型的泛化能力。

介绍

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

寻找视图是许多任务的关键，例如图像裁剪[40,48]。
多年有许多用于图像自动裁剪或良好视图推荐。现有方法主要是：

在第一阶段生成候选框，根据显著性检测或美学评估的结果，对生成的候选框进行评分。
最近，许多数据驱动的方法直接用标注数据训练CNN模型来解决这个问题。

上述方法在评分时主要考虑候选图像的区域特征，忽略了图像不同区域(视图)之间的相互关系。挖掘不同区域之间的关系，可以显著帮助从图像中找到好的视图

本文提出一种基于图的门控特征更新的模型，对这些关系进行建模，并使用挖掘出的关系特征更新区域特征，以找到良好视图。不同区域的特征通过图卷积[21]在对相互关系建模的图上进行传播。在特征传播过程中，通过考虑图中相邻节点的影响来挖掘候选区域的关系特征，有助于收集更多的比较信息以预测区域的得分。将挖掘出的关系特征与区域特征通过一个控制不同特征影响力的门进行融合。为了使图具有更强、更鲁棒的推理能力，提出一种数据增强方法，从不同的图中随机选择节点，并使用所选节点构建一个新的图进行预测。实验表明，通过混合不同的图，该模型可以获得更好的泛化能力。
关系挖掘过程
设计了一种多任务损失函数来训练模型，其中使用加权回归损失函数来预测每个区域的得分，特别关注那些标注得分高的区域。这通过对具有高注释分数的区域赋予更大的权重来实现。加权回归损失用于衡量模型预测的分数与实际注释分数之间的差距。此外，应用了排名损失来明确建模不同候选区域之间的得分差距。为将更多先验知识纳入图中，提出一个正则化项，以增强所构建的图和注释之间的相关性。具体而言，该正则化项用于约束图中构建的边与注释之间的相关性。这有助于确保图能够更好地反映注释中的信息，并提高模型的性能。

贡献

我们提出了一种基于图的模型，该模型具有门控特征更新，可以从图像中找到好的视图。据我们所知，这项工作是第一个明确地模拟不同候选区域之间的关系以寻找好视图的研究。
为了提高模型的泛化能力，我们引入了一种新的混合图数据增强方法。
我们设计了一个多任务损失来训练模型，该模型使预测分数和排序顺序都接近于注释，并同时将先验知识纳入图中。
我们通过广泛的实验和全面的烧烧研究来分析所提出模型的每个组件的贡献，并证明为什么基于图形的模块有助于找到好的视图，从而证明所提出的算法优于最先进的方法。

算法概述

我们提出了一种基于图的模型，该模型可以捕获不同区域之间的关系，从而从几张图中找到好的视图。给定Input Image，从骨干网（VGG16）获得Feature Map，从Feature Map中提取每个预定义区域的特征向量，根据不同区域之间的相似度构建一共图。在训练过程中，我们使用正则化项来强制图的邻接矩阵与注释的分数相似度矩阵之间的相关性尽可能强，以便将人类的先验知识纳入构建的图中。
该模型使用图卷积运算[21]在图上传播区域特征，获得Relation Feature，关系特征为最终预测提供了更多线索。我们通过门连接自适应地更新Local Feauture与Relation Feature。最后，根据融合后的特征预测各区域的得分。所建议的模型如图2所示
算法总流程

基于图的关系挖掘

给定输入图像的特征图，我们以类似[48]的方式提取不同区域的特征。

首先，我们使用1×1卷积层将特征图的通道维度降低到8。
然后，使用RoIAlign[15]和RoDAlign[48]方案提取每个区域的RoI (region of interest)特征和RoD (region of discard)特征，池化大小为9×9。
RoI和RoD特征作为region特征接触并通过全连接层。
我们将从图像中提取的区域特征表示为
X = [x1, . . . , xi, . . . , xN]∈R^N*D，其中xi为第i个区域的特征，N为区域的个数，Din为每个区域特征的通道维数。

Reasoning Mutual Relations

利用Region特征图，首先构建图来描述它们之间的相互关系。

将每个区域视为一个节点，构建一个具有N个节点的图，N为区域个数。
构建邻接矩阵A来描述区域之间的相似性，对于区域x_m与区域x_n之间的相似度用高斯核函数计算：

Wm和Wn是两个用于变换区域特征的可学习的参数（可训练矩阵），||·||表示欧氏范数，σ是1. 其中A的对角线元素都被设置为1，这意味着图中的每个节点都有一个自环。
构建图后，在图上进行图卷积，利用图卷积[21]将不同区域的特征在图上进行传播，以学习不同区域之间的关系。给定邻接矩阵A和区域特征X，则关系特征学习公式为：
F^r = AXW^r
F^r是区域关系特征矩阵，W^r 是可学习参数。
每个区域的关系特征F^r汇聚了从图中传播的上下文信息，这对最后预测很重要。因为打分过程是一种隐式排序，学习区域之间的关系可以帮助预测一个区域的分数时考虑到其他区域的影响。