王长虎博士在微软开发的MindFinder系统的核心技术。
The paper "Edgel Inverted Index for Large-Scale Sketch-based Image Search" was accpeted by CVPR 2011.
The demo "MindFinder: Interactive Sketch-based Image Search on Millions of Images" won the best demo award in ACM Multimedia 2010.
上图显示了该系统的一个检索实例。通过用户给出草图,可以检索到目标。基本思想是:提取图像的边缘特征(Berkeley detector),选择一个合适的index索引和相似度度量的方法。其中相似度匹配在OCM(Oriented ChamferMatching)的基础上改进的。引入了Hit Map:
将用户输入的草图得到多个Hit Map,利用Hit Map的重叠程度,计算相似性。
对于数据库中图像表示成多个Hit Map,不利于图像的检索,因此建立一个合适的索引结构,这里有个技巧,考虑到给用户的绘图区域(200*200),且分为6个方向,这样就可以方便建立以下的结构:
考虑到存储量得问题,并不存储每幅图像的多个Hit Map,而是只存储index结构和图像边缘特征,Hit Map是在线计算的。
主要创新点:
1) Hit Map的提出,很好了解决了相似计算的问题。
2) 合理的索引结构,减少了存储量,同时加快了检索的速度和精度。巧妙的建立起(200*200*6)的入口,同时带来了position-invariant matching的问题。
更多的结果: