基于素描的图形检索

翻译 2016年08月31日 00:24:15


摘要

我们开发了一个基于素描特征线条为输入的3D物体检索系统。为了评估的客观性,我们从用户那里搜集了大量的素描数据,这些素描都是用来查询一个现存数据库中的物体的。这些素描一般都是非常抽象的,都与原物体存在局部或全局性的差异。基于这个观察,我们决定使用 bag-of-features 的方法通过计算机生成物体的线条。在这个系统中我们通过加博过滤器去生成一个目标的特征变换。我们可以客观的展示出这种变换方法比其他文献中提及到的做类似任务的方法更合适。更进一步,基于我们搜集的素描作品,我们指出了如何去优化我们的参数以及方法。在结果对比中,我们的方法显著的优于目前其它系统。


1 介绍

使用大量3D模型集合进行工作,要求快速的基于内容的检索技术,特别需要注意的是,目前的公共集合通常都是没有被很好的注解过的。所以只使用基于关键字的搜索是不够的。然而在基于使用样例模型检索的研究中,用户需要提供一个完整的模型作为查询请求,实用性不好,因为一般我们手头都没有一个好的样例模型。所以,基于素描的检索被提出,用户基于一个或者多个视点画出想要的模型的素描就可以进行检索。我们认为基于素描的检索比基于例子的检索方式是更具有挑战性的,因为请求只包含这个图形某个投影面中的“部分”信息。大多数人的绘画技能是比较有限的,并且所画的线条还会与投影存在显著的差异。这些属性直接转化到基于素描检索图形的系统中后,需求变为:

a)需要对图形线条的局部特征进行对比 b)需要可以容忍所有潜在的视角和方向  c)需要容忍全局或局部变形;以及,很清晰的一点,d)检索的性能必须可以扩展到大规模的集合中。


目前,据我们所知,这是第一个满足上面所有需求的方法。这个方法是基于网格的视觉分析:我们对可能的视角方向进行采样,生成物体的线条,然后将这些线条使用 bag-of-feature 的方法进行编码。这个是直接取决于需求的。

首先,相对于在3D中对图形的投影线进行对比,我们采用了现有的线条渲染技术。它们现在已经达到了成熟的阶段,几乎所有人为画出的线也都是通过算法产生的[Cole et al.2008]。

其次,bag-of-features方法,在图形检索领域中非常著名[Sivic and Zisserman 2003],使用不依赖于位置的局部图像描述符。这正好是理想的方法,因为它允许局部对比,并且对全局的残缺有回复和修补能力。

我们通过量化局部图片描述符(所谓的“视觉单词”)去获得局部变形的回复力,然后通过柱状图进行对比。这种数据的缩小顺应了 第三点,获得更快的查询速度。


我们使用其他领域的成功技术,去优化并提供了以下的研究贡献:

• 素描检索系统的一个大范围的基准尺度。这个基准尺度是基于一个真实存在的数据集,其中收集了1914个 在感知实验中获得的由大量参与者提供的素描素材。我们免费提供这个数据集合。

•一种新的基于适应素描图形检索要求的加博滤波器序列的特征变换,这种描述符优于其他现有的变换。

•优化这种特征变换的参数的一般方法 。我们证明了甚至是已存的系统都可以使用这种方法去优化。

以上所有, 引出了一个有高性能的检索系统,我们通过客观的评估对此进行了证明。同时附带一个使用了大量真实用户所画的素描的视频。

在图一中,我们展示了我们系统的能力,我们在两分钟内获得了整个场景所需要的物体。然而我们发现在实验中获取的真实世界的素描集合对现有系统已经存在挑战性。特殊的,我们的数据集暴露出只允许用闭合的轮廓线去检索过分单纯的真实物体的问题:我们绝大多数参与者的素描包含了大量的内部线条,这个结论是通过基于我们数据集合在第8节中进行的进一步研究暴露出来的。



2 相关工作

虽然已经存在大量基于样例模型检索的工作,基于素描的检索通常只是一个基于样例检索的引擎研究的一部分[Funkhouser et al. 2003;Chen et al. 2003].据我们所知,还没有基准尺度被建立起来以允许基于素描检索系统的客观对比。我们希望通这篇论文后面展示的基准尺度去缓和这个问题。


2.1 Sketch-based model retrievalOne of the earliest references to sketch-based model retrieval isgiven by Loffler [ ¨ 2000] who describe a system that lets users re-fine an initial keyword based search using a sketch of the desiredview. Funkhouser et al. [2003] describe an image based approach.In a pre-processing phase they extract boundary contours from 13orthographics view directions for each model. They represent eachview by a global – but rotation invariant – boundary descriptor andcompute best matching models by comparing the correspondingview descriptors to the boundary descriptor computed from the inputsketch(es). Chen et al. [2003] describe a system for examplebasedretrieval that also supports query by sketch. They denselysample view directions to form a Lightfield descriptor. This descriptorhowever is only defined for closed contour curves, which,as we demonstrate later, is not how humans sketch for shape retrieval.Daras and Axenopolous [2010] describe a unified frameworkthat supports both sketch-based as well as example-based retrieval.They extract 32 views from each model and compute three2D rotation invariant shape descriptors per view. While a qualitativeevaluation demonstrates good retrieval results they do notperform a quantitive evaluation for sketch-based retrieval. Yoon etal. [2010] propose measuring orientation of sketch lines using thediffusion tensor – as the final descriptor they propose an orientationhistogram that globally encodes each view of a model.

【NPR】铅笔画

写在前面今天打算写一篇跟Unity基本无关的文章。起因是我上个星期不知怎么的搜到了一个网站 ,里面实现的效果感觉挺好的,后来发现是2012年的NPAR会议的最佳论文。看了下文章,觉得不是很难,就想着实...
  • candycat1992
  • candycat1992
  • 2015年11月26日 22:22
  • 4337

基于检索的聊天机器人的实现

在文章NLP入门实例推荐中提到,对话系统有两种形式: 基于检索的对话系统 模式:s1,s2–>R,即字符串s1和s2符合一定的规则。 基于生成的对话系统 模式:s1–>s2,即由字符串s1...
  • Irving_zhang
  • Irving_zhang
  • 2017年12月13日 11:27
  • 433

基于领域本体的语义信息检索研究

基于领域本体的语义信息检索研究(马文虎 南京理工大学信息管理系) 目  录引言... 11信息检索与本体概述... 11.1 信息检索... 11.1.1 信息检索的概念... 11.1.2 信息检索...
  • mawenhu
  • mawenhu
  • 2009年01月03日 16:56
  • 5515

素描史上最全手、脚画法丨必须收藏…

如果说三体积是人体的自身对称体块的话,那么上肢、下肢就是自身非对称体块,而它们连接着人体的躯干,在人体的运动中占重要地位。   上肢在生活和运动中使用最多,是人体最灵活的部位。上肢的运动...
  • qq3045528107
  • qq3045528107
  • 2017年03月06日 18:27
  • 447

基于检索与深度神经网络的人机对话

人机对话的总结
  • coder_oyang
  • coder_oyang
  • 2017年05月25日 17:21
  • 457

将图片打造铅笔素描效果

我们的目标效果是通 过模仿铅笔素描的线条和阴影关系来实现的。素描画看起来简单,但是即便是最具功底的天才设计师可能也要花上好几个小时才能画出一幅最真实的画作。...
  • farsight2009
  • farsight2009
  • 2016年11月22日 15:13
  • 415

Opencv实现图片素描风(调用摄像头+中值滤波+拉普拉斯边缘检测)

素描风(中值滤波+拉普拉斯)
  • zmdsjtu
  • zmdsjtu
  • 2016年09月30日 16:24
  • 1238

openCV学习记录:滤镜:线条&素描

线条滤镜线条滤镜主要是勾勒出图片的主要轮廓线,处理过程是: 图像灰度化 滤波 边缘检测 二值化完整代码如下: #include #includeusing namespace cv; using na...
  • liqiancao
  • liqiancao
  • 2016年01月30日 04:51
  • 2581

OpenCV——素描

原图  效果图
  • shinian1987
  • shinian1987
  • 2014年12月22日 12:19
  • 2710

使用CoreImage实现素描滤镜

使用CoreImage实现素描滤镜
  • u013282174
  • u013282174
  • 2015年11月04日 14:53
  • 2304
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:基于素描的图形检索
举报原因:
原因补充:

(最多只允许输入30个字)