MATLAB图像检索系统GUI设计

摘要

随着计算机技术和网络技术的发展，以及多媒体的推广应用，产生了大量的各式各样的图像。如何有效地对这些图像进行分析、存储和检索是一个急待解决的问题。基于内容的图像检索技术能有效地解决这一问题，成为研究的重点。图像检索的研究目的就是实现自动化、智能化的图像查询和管理方式，使查询者可以实现方便、快速、准确地查找。纹理是图像的一个主要视觉特征，也是基于内容图像检索系统中的一个重要手段。本文对基于纹理特征的图像检索技术进行了研究，并通过实验验证了检索算法的有效性。

图像的特征提取是图像检索的关键技术之一。本文将灰度共生矩阵用于图像的纹理特征提取。

设计并实现了一个基于纹理特征的图像检索系统。给出了系统的流程图，并介绍了系统的查询模块、特征提取模块、匹配模块和图像显示模块及其各个模块的功能。系统采用欧氏距离法作为图像的相似性度量，采用灰度共生矩阵算法提取图像的纹理特征。最后通过实验对给定的图像进行检索。

关键词：图像检索，纹理特征，共生矩阵

1 前言

随着互联网技术向宽带、高速、多媒体方向的发展，人类正快速进入一个信息化的时代。各种信息工具、技术、载体等应运而生。在众多类型的信息资源中，图像具有直观、形象、易于理解和信息量大等特点，成为资源库的重要组成部分。同网络信息一样，由于图像数量巨大，种类繁多，加之排列方式错综复杂，这给图像检索带来了困难。近年来，基于内容的图像检索技术有了长足的发展。基于内容的图像检索能有效的对图像进行管理和检索，这项技术既充分体现了图像的信息特点，又充分结合了传统数据库技术，它的应用对解决信息膨胀，有效快速地利用多媒体信息有很好的实用价值。

图像的内容包括图像的颜色、纹理、形状等视觉特征和语义特征。其中，纹理特征作为最为显著的视觉特征之一，它是一种不依赖于颜色或亮度反映图像中同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息，以及与周围环境的联系。因此在基于纹理的图像检索中得到了广泛应用。

1.1 图像检索的发展现状

自90年代以来，基于内容的图像检索已经成为了一个非常活跃的研究领域。从目前的研究现状来看，基于内容的图像检索可分为3层。下层是基于颜色、纹理、形状等反映图像基本物理特征的检索，是最直接也是最基本的层面，用到图像信息处理、图像分析和相似性匹配技术。中间层是基于图像对象语义的检索，如图像中实体及实体之间的空间关系的检索，对象级检索技术建立在下层特征基础上，并引入了对象模型库、对象识别和人工智能等图像理解技术。最上层是基于图像概念级语义的检索，其技术建立在对象层语义特征提取的基础上，引入了对象和场景之间的逻辑、情感等高层语义的描述及识别，需要用到知识库和更加有效的人工智能和神经网络技术。

到目前为止，已有许多商业的或是用于研究的图像检索系统问世。QBIC(Query ByImage Content)图像检索系统是IBM公司90年代开发制作的图像和动态景象检索系统，是第一个基于内容的商业化的图像检索系统。用户无须提供文字检索词，只要输入以图像形式表达的图像检索要求就可以检索出一系列相似的图像。Virage是由Virage公司开发的基于内容的图像检索引擎。同QBIC系统一样，它也支持基于色彩、颜色、布局、纹理和结构等视觉特征的图像检索。Jerry等人还进一步提出了图像管理的一个开放式框架，将视觉特征分为通用特征(如颜色、纹理和形状)和领域相关特征两类。

Photobook是美国麻省理工学院的多媒体实验室所开发的用于图像查询和浏览的交互工具。它由两个子系统组成，分别负责提取形状、纹理、面部特征。因此，用户可以在这两个子系统中分别进行基于形状、基于纹理和基于面部特征的图像检索。

VisualSEEK是基于视觉特征的检索工具，WebSEEK是一种面向www的文本或图像搜索引擎。这两个检索系统都是由哥伦比亚大学开发的。VisualSEEK同时支持基于视觉特征的查询和基于空间关系的查询。WebSEEK包括两个主要模块：图像／视频采集模块，主题分类和索引模块、查找、浏览和检索模块。

Netra系统是加利福尼亚大学的A1exandria数字化图书馆项目(AlexandriaDigital Library)中用于图像检索的原型系统。它从分割后的图像区域中提取颜色、纹理、形状和空间位置信息，并依靠这些信息从数据库中查找相似的区域。Netra在研究方面的主要特点包括：采用了基于Gabor滤波器的纹理特征：基于神经网络的“图像词典”的构造和基于边缘流的图像分割。

MARS(Multimedia AnalysiS and Retrieval System)是美国伊利诺斯大学开发的，它无论在研究角度还是应用领域都和其他的图像检索系统有很大的差异。MARS是计算机视觉、数据库管理系统以及传统的信息检索技术多个领域交叉的结果，它的主要特点包括：数据库管理系统和信息检索技术的结合；索引技术和检索技术的融合以及计算机和人的融合。MARS系统的重点在于根据实际的应用环境和用户的需要，在检索框架中动态地组合和调整各种不同的图像特征。MARS在图像检索领域正式提出了相关反馈的体系结构。相关反馈技术在各种层次上融合到检索的过程中，包括查询向量的优化，相似度算法的自动选择，以及图像特征权重的调整。

国内的一些研究单位已相继开展了基于内容的图像检索的研究工作，并开发了一些实验系统。主要有清华大学在视频检索方面的研究，国防科大在多媒体数据库检索系统方面展开研究，浙江大学也于1995年开始了这方面的研究工作。西北大学可视化技术研究所从1998年开始研究基于内容的图像检索，研究成果在医学影像数据库和数字考古博物馆中已有应用，理论研究和具体实践都取得了可喜的进展。中科院计算机所智能信息处理重点实验室智能科学课题组开发的多媒体信息检索系统Mires开始尝试在药植物数据库、遥感图像检索系统等方面展开应用。2002年，吴冬生、吴乐南提出对JPEG图像的DCT系数利用多分辨率小波变换的形式进行重组，对整个数据库中的所有图像的DCT系数重组得到的若干子带，分别建立子带能量直方图，而后采用Norton顺序建立图像的索引，并采用B树结构组织图像数据库用于图像检索。

1.2 图像检索技术分类

基于内容的图像检索技术实际上是一种模糊查询技术，通过对图像提取一定的特征，找出在特征空间中与查询要求最接近的图像。

基于内容的图像检索技术通常需要明确两个问题：一、如何提取特征，二、特征如何匹配。图像特征(即内容)的提取是基于内容的图像检索(CBIR．Content-Based ImageRetrieval)的基础。对于基于内容的检索系统，根据其处理的对象可以将其分为静止图像检索和活动视频检索。本论文主要讨论可视化静态图像特征的提取。根据所提取的特征不同，当前基于内容的图像检索技术可以分为以下几类：

1．基于颜色特征

颜色是图像内容组成的基本要素，是人识别图像的主要感知特征之一，相对与其它特征，颜色特征非常稳定，对于图像的平移、尺度、旋转变化不敏感，具有很强的鲁棒性，而且颜色特征计算简单，因此基于颜色的查询是基于内容的图像检索中应用最广泛的方法。

2．基于纹理特征

纹理是图像的一个重要的特征。准确的纹理定义并不存在，一种定义认为纹理是由纹理基元按某种确定性的规律或者只有某种统计规律排列组成的。另一种更为模糊的定义是纹理是由大量或多或少有序的相似基元或模式组成的一种结构。使用数学或信息论的方法抽取的纹理度量称为纹理特征，纹理特征可用来对图像中的空间信息进行定量的描述。纹理分析的方法主要分为两类：结构方法和统计方法。结构方法假定图像由较小的纹理基元排列而成，只适用于规则的纹理结构。统计方法又可进一步分为传统的统计方法、基于模型的方法和基于频谱分析的方法。传统的统计分析方法始于20世纪70年代早期的二阶灰度统计特征的共生矩阵方法。80年代开始，基于随机场模型的技术被用于纹理分析。随机场模型包括圆同步自回归(Circular Simultaneous Autoregressive)模型和高斯马尔可夫随机场(GMRF,GaussianMarkov Random Field)模型。多尺度的思想促进了基于频谱分析方法的发展，特别是基于Gabor滤波器的技术在纹理分析中被广泛采用。在实际的检索系统中应用的纹理特征方法一般有：象素域法、共生矩阵法、视觉纹理特征表达法、分形编码法、小波变换法等。

3．基于形状特征

基于对物体的形状特征进行检索是基于内容检索中最具挑战性的问题之一，因为寻找符合人眼感知特性的形状特征并不是件简单的工作。形状特征的重要原则是对位移、旋转、尺度变换的不变性，人们出于识别和检索的目的，总是趋向于忽略这种变化。形状特征的描述一般可分为两类：基于边界和基于区域。前者利用的是形状的外边界，后者利用的是整个形状区域。描述方法有：边界方向直方图、傅立叶描述符、矩不变量、Chamfer匹配、Turning函数、小波描述算子以及2D，3D形状表达等。傅立叶描述符用傅立叶变换后的边界作为形状特征，用较少的参数可以包纳很复杂的边界。矩不变量是使用基于区域的矩(与变换无关)作为形状特征。

4．基于边缘／草图

基于边缘／草图的查询是用户提交一幅想要查询的物体的大致轮廓，由系统找出与此轮廓相匹配的图像。草图的查询可以通过计算图像的边缘图来实现，这种方法的缺点是没有方向和尺度的不变性，类似的图像可能因为方向和尺度的不同而被遗漏，这种问题需要有复杂的边缘表示和匹配算法来消除。

5．基于空间关系的

对于包含多目标的图像，目标之间的空间关系是又一种描述图像内容的特征。描述物体问的空间关系首先需要对图像进行目标分割和识别，然后可将图像转化成采用2维串2D String)编码的符号图像，2维串描述物体间的关系是通过一系列算子(上、下、左、右等)，图像的检索问题变成了一个2维串匹配的问题。2维串的匹配是基于一个简单的分级方案，然而用于生成2维串的算法需要对象分割和识别，计算量相当大。

6．基于非视觉特征的

现在运行的商用系统通常采用关系型数据库，这些系统中图像的属性包括图像来源、拍摄时间和地点、媒介类型、分辨率、输入设备、压缩方式、以及与图片相关的注释信息，注释信息对于用户来说是非常自然的描述，然而这种特征描述因人而异，而且无法自动提取，给检索系统带来很大的困难。

2 图像检索的基本原理

基于内容的图像检索遵循概率排队的规则，根据用户的查询需要，对查询样本和库中图像分别计算相关特征，并比较特征的相似性，最后按相似性值由大到小排列库中图像，完成一个查询过程。这一新的研究方向涉及图像处理(Image Processing)，图像识别(Image Recognition)和图像数据库(Image Database)技术，把这3个领域的研究成果进行有效的结合是该技术取得成功的基础。基于内容的图像检索技术由于能够根据图像的可视内容产生查询，从而方便了用户，检索时针对不同的具体应用，使用一种特征或组合几个特征进行检索。

基于纹理特征的图像检索是基于内容图像检索的一个方面，因此，本章将讨论基于内容的图像检索系统的通用框架、关键技术、检索查询方式及检索特点。

2.1 检索系统通用框架

基于内容的图像数据库检索系统是一种重要的多媒体信息处理技术。一般把基于内容的图像数据库检索系统看作是介于信息用户和数据库之间的一种信息服务系统。系统的通用框架如图2—1所示。

多 媒 体 数 据 库

信息用户

图2-1 基于内容的图像检索系统通用框架

(1)查询模块对用户提供多样的查询手段，以支持用户根据不同应用进行各种类型的查询工作。

(2)描述模块系统将用户的查询要求转化为对图像内。容比较抽象的内部表达描述，即以一定的计算机可以方便表达的数据结构描述给定图像的内容。这是基于内容的图像检索系统的关键模块，如何描述图像，直接关系到检索系统的性能。

(3)匹配模块将查询描述与图像库中被查询图像进行内容匹配和比较，以确定它们在内容上一致性和相似性。这个匹配结果将传给提取模块。匹配模块所使用的方法与描述方法密切相关。

(4)提取模块根据匹配的结果，在内容匹配的基础上将所有满足给定条件的图像自动地从图像库中提取出来。

(5)验证模块提取的图像是否满足用户要求还需验证。如果验证效果不满意，新一轮的查询可以通过修改查询条件而重新开始。

2.2 检索系统关键技术

基于内容的图像检索系统的关键技术为：图像的特征提取和图像数据索引结构的构造。下面分别介绍这两个关键技术。

2.2.1特征提取

特征抽取是基于内容的图像检索的基础，目前比较成熟的特征是颜色、纹理、形状和物体间方位关系。这些特征具有计算简单，性能稳定的特点，但这些特征都有一定的局限性。

1 颜色

颜色是一种重要的视觉信息属性，在图像查询与检索中是～种很有用的特征。相对于其它特征，颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种变形都不敏感，表现出相当强的鲁棒性，而且颜色特征计算简单，因此成为现有检索系统中应用最广泛的特征。

颜色检索的基本思想是将图像间的相似度归结为颜色直方图之问的距离。这方面奠基性的工作是Swain和Ballad提出的直方图求交算法，它计算两幅图像三维颜色直方图的每一个颜色单位，并进行细致的比较。Mehtre等人提出距离算法和参考颜色表方法，实验表明，每幅图像只需保留很少几种主要颜色就能得到很好的结果。

为了得到与人的感觉类似的相似性度量，一些研究者还提出采用其它的颜色空间模型和距离测度。Zhang等人采用了符合人眼感觉的HSV(HueSaturation Value)模型，Baraldi等人在进行直方图匹配时引入了二次型距离。另外，在提高检索对于光照的稳定性及空间分布信息的引入等方面，也出现了很多算法。

2 纹理

纹理是与物体表面材质有关的图像特征，目前也是基于内容的图像检索系统中的一个重要手段。

纹理分析一直是计算机视觉中的一个重要研究方向，其方法主要分为两类：结构方法和统计方法。结构方法假定图像由较小的纹理基元排列而成，它采用句法分析方法，只适用于规则的结构纹理。统计方法又可进一步分为传统的统计方法、基于模型的方法，以及基于频谱分析的方法。

传统的统计分析方法始于20世纪70年代早期，Haralick等人提出了基于二阶灰度统计特征的共生矩阵方法。之后，Tamura以人的主观心理度量为标准，提出了6个基本的纹理特征，这些特征与人的感受较一致，在许多图像检索系统中得到应用。20世纪80年代，基于随机场模型的技术被用于纹理分析中。Kashyap等人提出用CSAR模型提取旋转不变的纹理特征。麻省理工大学的Photo．book中采用了随机场的二维分解技术，得到周期性、方向性和随机性三种特征，用于纹理图像检索。

多尺度的思想促进了基于频谱分析方法的发展，特别是基于Gabor滤波器的技术在纹理分析中被广泛采用，Gabor滤波器可以通过调整获得图像不同方向和尺度的纹理信息。Lee等人把它用于图像检索，并把它与小波变换方法作了比较。

3 形状

形状基于图像内物体形状的检索是基于内容检索当中一个最具挑战性的问题之一，因为寻找符合人眼感知特性的形状特征不是一件简单的工作。首要的困难是要将不同物体从图像中分割出来，这是计算机视觉中的一个困难问题。

形状的描述也是困难的问题，常用的方法有傅立叶描述子、矩不变量、各种简单的形状因子(如面积、圆度、偏心度、主轴方向)等。除了这些全局特征以外，有时也用一些局部特征(如直线段、圆弧、角点、高曲率点等)，来解决遮挡问题。除这些常规方法外，人们还提出了许多基于不变性和变换的方法。

由于基于简单特征的方法无法对形状作细致的匹配，也不能解决广泛存在的变形问题。因此实际系统中常常只用它们来作初步的过滤，最终的匹配结果由一些更复杂的方法给出，如变性模板、弹性匹配等。

4 区域与目标

由于颜色、纹理的检索仅适合部分图像检索的情况，且检索的正确率不高，而且在很多情况下，人们感兴趣的并不是整幅图像，而是图像中的某些区域或目标。因此，近几年来人们提出了基于区域或目标的图像表示和检索方法，在这类方法中通常需要完成图像分割，然后再利用感兴趣部分的图像信息进行检索。

2.2.2高维索引

为了使基于内容的图像检索能真正地适合于大规模的图像集合，需要研究有效的多维索引技术，这里有如下两个难题需要解决。

(1)高维度特征向量的维度通常具有10²的数量级。

(2)非欧拉相似性度量计算由于欧拉度量可能不适合对某些视觉内容的人类感知的仿真，因此需要支持其它的各种相似性度量方法，如直方图求交等。

为解决高维索引问题，一种有前途的方法是首先减少维度，然后使用能支持非欧拉相似性度量的多维索引技术。

1 维度压缩

有两种方法可用于维度压缩：一种是KL变换，另一种是列向聚类。KL变换及其变种己广泛用于人脸识别、特征图像以及信息分析。Ng等人采用特征图像的方法来进行维度压缩。Faloutsos等人提出了KL变换的快速近似算法进行维度压缩，研究结果表明，大多数实际图像集(视觉特征向量)可以作维度压缩，而且在检索质量上不会引来明显的退化。Chandras．ekaran等人提出了一种低秩单值分解法，在执行KL变换时非常有效，且在数值上是稳定的。由于图像检索系统是一个动念系统，新的图像会不断地添入到图像集合之中，该算法具有处理动态的索引更新能力。

除了KL变换之外，聚类是另一个进行维度压缩的有力工具，聚类技术广泛用于模式识别、语音分析和信息检索之中。通常，相似的对象(模板、信号和文档)被聚在一起以执行识别或者分组，这种聚类称为行向聚类，当然也可进行列向聚类以达到维度压缩的目的。

2 多维索引技术

多维索引技术的研究主要在3个领域，即计算几何、数据库和模式识别。

最流行的多维索引技术有K-d树，R树及其变种R+树、R＊树，四叉树，聚类法，神经网络法等。

多维索引技术始于70年代中期，当时引入的方法是K．d树和四叉树，然而其性能远不尽人意。由于地理信息系统和计算机辅助设计系统中对空间索引的迫切要求，Guttman提出了R树的索引结构，之后R树的多个变种被相继提出。过去，大多数关于树的索引技术是为传统的库查询提出的，而不是为图像检索中的相似查询提出的。因此，目前多维索引的重点集中在图像检索中新的特征和需求上，即如何标识与改进适合于表达高维度特征向量的索引技术，其中二种有前途的方法是聚类法和神经网络法。

2.3 检索查询方式

在不同的应用环境中，用户可能会进行不同类型的查询工作。因此，由用户的不同需求产生了多种查询方式，下面分别介绍。

2.3.1外部图例查询

外部图例查询(Query by External Pictorial)中的示例图像来源于检索系统的外部，也就是说给定的图像不是数据库中存储的图像。用户可以数字化一张照片，也可以在Internet或别的什么地方找到一幅质量比较好的图片作为示例，要求系统在数据库中搜索相似的图像。

外部图例查询的优点是易用性好，缺点是需要付出一定的努力向系统提供外部示例图像。

2.3.2内部图例查询

内部图例查询(Query by Internal Pictorial Example)中的示例图片是从检索系统的数据库中选出的。当没有可用的外部示例图片时，用户可以从可用的图像集合中选择查询图片。系统在其它方面的功能与外部示例图片基本一致。

内部图例查询的优点是用户不再为获得一个外部示例图片而烦恼，缺点是仍然需要用户付出努力在数据库中找到一幅合适的示例图片。

2.3.3草图查询

草图查询(Query by Sketch)是图例查询的一种形式，其中的示例图像由用户创建，用户为他希望得到的图像勾画一张草图。用户在查询画布上组织或编辑一些预定义的图片元素以创建一幅示例图像。因此，检索系统必须为用户提供一些图像部件和画图工具。

与自然图像相比，人工创作的草图具有更高的抽象性，用户只需勾画出他所寻找的图片的重要部分，在这方面草图查询要比其它使用已有图片的图例查询更具优势。草图查询的缺点是它要求用户或多或少要有一些艺术才能，因此，草图查询在大多数的场合下仅用来指出图像中对象的位置或一些对象的全局属性。可见，草图查询的优点是用户可以根据需要指出最重要、最感兴趣的图像细节，缺点是草图的创建比较困难，而且很难建立草图与图像之间的映射关系。

3 实验结果及分析

实验所采用的图像数据库是从“brodatz纹理图像库"中挑选的，总共有100幅图像。

3.1、提取关键图，并显示在Picture控件上。软件截图如下：

3.2、计算关键图的特征值，在水平0度下的特征值：

3.3、搜索图像库中的BMP图，并显示相似度测量和路径，相似性度量采用的是欧氏距离法。

返回结果的图像

4、选取一副图片，计算特征值：

5、计算两图片的特征相似度：

，如果纹理特征差异都为0，则谈出消息框：

5 总结与展望

5.1 总结

本文采用纹理来表征图像的基本物理特征，并以此为特征建立了图像检索系统。具体工作如下：

1介绍检索系统的通用框架，检索系统的关键技术，主要包括图像特征提取和相似性度量技术、检索常用的三种查询方式及检索的特点。

2重点介绍了基于灰度共生矩阵的纹理特征提取算法的流程、步骤及注意事项。

3详细阐述了图像检索系统设计与实现，给出了系统的流程图，并介绍了系统的查询模块、特征提取、匹配模块和图像显示模块及其功能。

4采用欧氏距离法作为图像的相似性度量。最后通过实验对给定的图像进行检索，检索结果找出相似图像并按照相似度从大到小排列。

5.2 展望

本文设计并实现了图像检索系统，并获得了比较好的检索效果，但还有待于进一步优化与完善。

1进行综合的多特征检索研究。图像具有多种视觉特征，基于单～特征的检索结果并不是很理想，如能有效地利用多个特征进行检索，必可以改进检索的性能。

2在系统中引入相关反馈机制。检索最终结果的准确与否是由人来判断的，必须将当前以机器为中心的检索转换为可以加入人的交互功能。希望系统通过用户对初始查询结果的交互来自动确定用什么样的特征表示和匹配算法，使查询结果更符合用户的感知需求。

参考文献

[1]章毓晋，基于内容的视觉信息检索．北京科学出版社

[2]吴健康．数字图像分析．人民邮电出版社

[3]赵荣椿．数字图象处理导论．西北工业大学出版社

[4]吕维雪，医学图象处理．上海高等教育出版社

[5]程兵，王莹，郑南宁．基于Markov随机场和FRAME模型的无监督图像分割．中国科学E辑(技术科学)2004．34(4)：391-400

[6]罗坛，章毓晋，高永英．基于分析的图像有意义区域提取．计算机学报，2000，23(12)：1313—1318

[7]庄越挺，潘云鹤．基于内容的图像检索综述．模式识别与人工智能，1999，12(2)：170—172

[8]贾永红．计算机图像处理与分析．武汉：武汉大学出版社，2001．

[9]姚敏等，数字图像处理．北京：机械工业出版社，2006，l：205—206．

[10](美)崔金泰著，小波分析导论，程正兴译，西安交通大学出版社，1995

[11]夏良正．数字图像处理．东南大学出版社，1999

[12]章毓晋．图像工程(上册)．北京：清华大学出版社，2000

[13]何斌等．VC++数字图像处理．第2版．北京：人民邮电出版社，2002

[14]李向阳，庄越挺，潘云鹤．基于内容的图像检索技术与系统．计算机研究与发展，

[15]庄越挺，潘云鹤，吴飞编著．网上多媒体信息分析与检索．北京：清华大学出版社，2002

[16]王李冬，邰晓英，巴特尔．基于小波变换纹理分析的医学图像检索[J]．中国医疗器械杂志，2006，30(2)：102—103．

[17]荆延国，一个基于图像中语义对象的图文双向查阅系统的设计与实现．[大连海事大学硕士学位论文]．2000：4-6