基于素描的图形检索

摘要

我们开发了一个基于素描特征线条为输入的3D物体检索系统。为了评估的客观性，我们从用户那里搜集了大量的素描数据，这些素描都是用来查询一个现存数据库中的物体的。这些素描一般都是非常抽象的，都与原物体存在局部或全局性的差异。基于这个观察，我们决定使用 bag-of-features 的方法通过计算机生成物体的线条。在这个系统中我们通过加博过滤器去生成一个目标的特征变换。我们可以客观的展示出这种变换方法比其他文献中提及到的做类似任务的方法更合适。更进一步，基于我们搜集的素描作品，我们指出了如何去优化我们的参数以及方法。在结果对比中，我们的方法显著的优于目前其它系统。

1 介绍

使用大量3D模型集合进行工作，要求快速的基于内容的检索技术，特别需要注意的是，目前的公共集合通常都是没有被很好的注解过的。所以只使用基于关键字的搜索是不够的。然而在基于使用样例模型检索的研究中，用户需要提供一个完整的模型作为查询请求，实用性不好，因为一般我们手头都没有一个好的样例模型。所以，基于素描的检索被提出，用户基于一个或者多个视点画出想要的模型的素描就可以进行检索。我们认为基于素描的检索比基于例子的检索方式是更具有挑战性的，因为请求只包含这个图形某个投影面中的“部分”信息。大多数人的绘画技能是比较有限的，并且所画的线条还会与投影存在显著的差异。这些属性直接转化到基于素描检索图形的系统中后，需求变为：

a)需要对图形线条的局部特征进行对比 b)需要可以容忍所有潜在的视角和方向  c）需要容忍全局或局部变形；以及，很清晰的一点，d）检索的性能必须可以扩展到大规模的集合中。

目前，据我们所知，这是第一个满足上面所有需求的方法。这个方法是基于网格的视觉分析：我们对可能的视角方向进行采样，生成物体的线条，然后将这些线条使用 bag-of-feature 的方法进行编码。这个是直接取决于需求的。

首先，相对于在3D中对图形的投影线进行对比，我们采用了现有的线条渲染技术。它们现在已经达到了成熟的阶段，几乎所有人为画出的线也都是通过算法产生的[Cole et al.2008]。

其次，bag-of-features方法，在图形检索领域中非常著名[Sivic and Zisserman 2003]，使用不依赖于位置的局部图像描述符。这正好是理想的方法，因为它允许局部对比，并且对全局的残缺有回复和修补能力。

我们通过量化局部图片描述符(所谓的“视觉单词”)去获得局部变形的回复力，然后通过柱状图进行对比。这种数据的缩小顺应了 第三点，获得更快的查询速度。

我们使用其他领域的成功技术，去优化并提供了以下的研究贡献：

• 素描检索系统的一个大范围的基准尺度。这个基准尺度是基于一个真实存在的数据集，其中收集了1914个 在感知实验中获得的由大量参与者提供的素描素材。我们免费提供这个数据集合。

•一种新的基于适应素描图形检索要求的加博滤波器序列的特征变换,这种描述符优于其他现有的变换。

•优化这种特征变换的参数的一般方法 。我们证明了甚至是已存的系统都可以使用这种方法去优化。

以上所有, 引出了一个有高性能的检索系统，我们通过客观的评估对此进行了证明。同时附带一个使用了大量真实用户所画的素描的视频。

在图一中，我们展示了我们系统的能力，我们在两分钟内获得了整个场景所需要的物体。然而我们发现在实验中获取的真实世界的素描集合对现有系统已经存在挑战性。特殊的，我们的数据集暴露出只允许用闭合的轮廓线去检索过分单纯的真实物体的问题：我们绝大多数参与者的素描包含了大量的内部线条，这个结论是通过基于我们数据集合在第8节中进行的进一步研究暴露出来的。

2 相关工作

虽然已经存在大量基于样例模型检索的工作，基于素描的检索通常只是一个基于样例检索的引擎研究的一部分[Funkhouser et al. 2003;Chen et al. 2003].据我们所知，还没有基准尺度被建立起来以允许基于素描检索系统的客观对比。我们希望通这篇论文后面展示的基准尺度去缓和这个问题。

2.1 Sketch-based model retrievalOne of the earliest references to sketch-based model retrieval isgiven by Loffler [ ¨ 2000] who describe a system that lets users re-fine an initial keyword based search using a sketch of the desiredview. Funkhouser et al. [2003] describe an image based approach.In a pre-processing phase they extract boundary contours from 13orthographics view directions for each model. They represent eachview by a global – but rotation invariant – boundary descriptor andcompute best matching models by comparing the correspondingview descriptors to the boundary descriptor computed from the inputsketch(es). Chen et al. [2003] describe a system for examplebasedretrieval that also supports query by sketch. They denselysample view directions to form a Lightfield descriptor. This descriptorhowever is only defined for closed contour curves, which,as we demonstrate later, is not how humans sketch for shape retrieval.Daras and Axenopolous [2010] describe a unified frameworkthat supports both sketch-based as well as example-based retrieval.They extract 32 views from each model and compute three2D rotation invariant shape descriptors per view. While a qualitativeevaluation demonstrates good retrieval results they do notperform a quantitive evaluation for sketch-based retrieval. Yoon etal. [2010] propose measuring orientation of sketch lines using thediffusion tensor – as the final descriptor they propose an orientationhistogram that globally encodes each view of a model.