Schettini R, Ciocca G, Zuffi S, et al. A Survey Of Methods For Colour Image Indexing And Retrieval In Image Databases[J]. Color Imagingence Exploiting Digital, 2001, 1614:9--1.
摘要:颜色是绝大多数基于内容的图像检索系统的特征。 然而,其在图像索引中的使用的鲁棒性,有效性和效率仍然是公开的问题。本文提供了文献中描述的彩色图像索引和检索方法的全面调查。尤其是严格地分析图像预处理以及用于表示颜色信息的特征以及用于计算两个图像的特征之间的相似性的措施。
Introduction
颜色已广泛用于多媒体数据库中的基于内容的图像和视频检索。近年来,大量研究致力于定义用于指定视觉查询和实现满足匹配或图形相似性的一些标准的检索策略的有效和高效的工具。颜色的使用已经被广泛地实验
-
颜色匹配,以找到包含指定比例的特定颜色的图像,例如。 [8];
-
相似性搜索,以找到与所提供的图像“相似”或由用户手绘的图像的排序列表图像。 [3] [33];
-
区域搜索,以找到包含在查询中指定的颜色区域的图像,例如 [39];
-
目标搜索,以找到其中由用户指定的对象出现的图像的列表[58] [71];
-
语义分类,以将图像分组在有意义的类别中,例如与照片相反的图形,或室内而不是户外图片。 [79];
-
检索具有某些颜色诱导效应的图像,例如 [15]。
所有这些任务取决于可以表示图像内容的稳健和有效的颜色特征的定义.不幸的是,没有单一的“最佳”表示的颜色,但只有多个表征,从不同的角度来表征颜色特征。然而,在任何给定的上下文中,所选择的特征将理想地呈现以下基本特性:
-
感知相似性:仅当图像不是“相似”时,两个图像之间的特征距离才大;
-
效率:可以快速计算;
-
经济:其尺寸小,以便不影响取回效率;
-
可扩展性:系统的性能不受数据库大小的影响;
-
鲁棒性:数据库图像的成像条件的变化不影响检索。
在匹配图像中,特征相似性/不相似性函数必须与颜色特征耦合。距离d定义为
P 1 : d ( I , I ) = d ( J , J ) 自相似性
P 2 : d ( I , J ) ≥ d ( I , I ) 极小化
P 3 : d ( I , J ) = d ( J , I ) 对称性
P 4 : d ( I , K ) + d ( K , J ) ≥ d ( I , J ) 三角不等式
满足P 1,P 2和P 4的任何函数都是度量。 满足P 1,P 2和P 3的任何函数是相似性度量。
视觉信息检索系统(VIR)的活动的示意性描述在图1中示出。在输入期间,处理图像以计算被选择以表示图像内容的特征。该过程称为索引或索引,向每个图像分配一组识别描述符或索引,系统将在匹配阶段中使用这些描述符或索引来检索相关图像并拒绝无关的图像。索引存储在数据库中,理想地设计用于高效检索。 不同的特征(颜色,形状,纹理,大小,距离,相对位置等)表达图像内容的不同方面,并且当然可以共存[14]。此处仅考虑基于颜色的特征。
当提出图像查询时,其颜色特征从数据库中提取,或者使用应用于输入图像的相同过程来计算。匹配机制根据所选择的度量或相似性度量来实现检索。数据库的图像根据它们与查询的相似性/匹配进行排名,以供用户根据他的信息需求进行评估。
除了少数例外,颜色索引的有效和高效的计算需要用于表示图像的颜色内容的颜色数量的急剧减少。用于此的算法在第2节中讨论。一旦颜色的数量已经充分减少,则可以使用用于表示和比较颜色分布的许多不同的策略。这些策略在第3节中描述。完全基于颜色分布的图像检索在数据库大时倾向于包括太多的假阳性。在第4节,第5节和第6节中描述了用于对局部空间信息进行编码的全局颜色特征的几种可能的扩展。在第7节中,讨论了基于颜色的特征与其他特征的集成。我们的结论在第9节中提出,并指出我们所看到的未来研究的路线图。
Color Discretization
用于表示彩色图像内容的颜色数量的急剧减少通常通过颜色空间量化,使用预定义的调色板(静态量化)或通过聚类和/或 空间分割(动态量化)。形式上,我们让C为颜色空间,并且P = {c 1,c 2,...,c i,...,c n c i∈C,n << C},称为量化空间的C的子集。 将C中的每个颜色映射到P中的元素的函数Q称为量化器,并且被定义为:
Q : C → P
表1给出了不同量化方法的示意图。
几个作者仅使用每个R,G和B颜色通道的几个(通常是两个)最高有效位来严重减少图像颜色的数量[55] [59]。但是缺乏对颜色映射的感知规则可能导致颜色的相当大的偏移。
Smith和Chang [69]将HSV色彩空间划分为166个区间,比色值和饱和度(每个三个级别)更重视色调(18级)。 在计算图像索引之前,对每个HSV颜色分量应用中值滤波器以消除离群值并强调突出的颜色区域。
QBIC系统[33]使得可以计算k元素颜色直方图,其中k可以由用户设置(默认值为64)。 每个R,G和B色轴初始在16个级别中量化,获得RGB色彩空间到4096个单元的初始分区。然后计算修改的孟塞尔色彩空间[54]中的每个单元格的中心的坐标,并且执行标准的贪婪平方聚类的最小和以获得k个“超级单元”。 类似的分区已被Jain等人在HSV色彩空间中应用[54] [79]。
Ciocca et al。 已经在两个步骤中量化了设备颜色空间。 首先,在RGB颜色空间中产生几百万种颜色的随机采样。假设这些样本以sRGB项编码,这些样本被映射到CIELAB颜色空间中,然后应用竞争性群集算法[78]来找到64个最重要的颜色。要被索引的图像的颜色被映射在CIELAB颜色空间中,并且被分配给64个质心中最近的[14]。
Syeda-Mahmood [70]提出了一种将RGB色彩空间划分为大约220个子空间(类别)的量化方法,其中颜色在感知上与相邻子空间的颜色保持相同和明显不同。
该分区通过“相当非正式但广泛的心理物理实验”获得,其系统地检查装置依赖性HSV
颜色空间。查找表用于RGB值和颜色类别之间的映射。