基于纹理特征的图像检索

摘要

随着计算机技术和网络技术的发展,以及多媒体的推广应用,产生了大量的各式各样的图像。如何有效地对这些图像进行分析、存储和检索是一个急待解决的问题。基于内容的图像检索技术能有效地解决这一问题,成为研究的重点。图像检索的研究目的就是实现自动化、智能化的图像查询和管理方式,使查询者可以实现方便、快速、准确地查找。纹理是图像的一个主要视觉特征,也是基于内容图像检索系统中的一个重要手段。本文对基于纹理特征的图像检索技术进行了研究,并通过实验验证了检索算法的有效性。

图像的特征提取是图像检索的关键技术之一。本文将灰度共生矩阵用于图像的纹理特征提取。

设计并实现了一个基于纹理特征的图像检索系统。给出了系统的流程图,并介绍了系统的查询模块、特征提取模块、匹配模块和图像显示模块及其各个模块的功能。系统采用欧氏距离法作为图像的相似性度量,采用灰度共生矩阵算法提取图像的纹理特征。最后通过实验对给定的图像进行检索。

关键词:图像检索,纹理特征,共生矩阵

目  录

1 前言

1.1 图像检索的发展现状

1.2 图像检索技术分类

1.3 研究内容与章节安排

2 图像检索的基本原理

2.1 检索系统通用框架

2.2 检索系统关键技术

2.2.1特征提取

2.2.2高维索引

2.3 检索查询方式

2.3.1外部图例查询

2.3.2内部图例查询

2.3.3草图查询

2.4 图像的相似性度量

2.4.1概述

2.4.2相似性测度

2.4.3非几何相似性测度

2.4.4小结

2.5 本章小结

3 基于纹理特征的图像检索算法研究

3.1 纹理特征概述

3.2 基于小波变换的纹理特征提取

3.2.1图像的小波变换

3.2.2小波基的选择

3.2.3小波基的正则性阶数

3.2.4小波变换的级数

3.3 基于灰度共生矩阵的纹理特征

3.3.1灰度共生矩阵

3.3.2灰度共生矩阵特征提取

3.4 基于灰度一梯度共生矩阵的纹理特征

3.4.1灰度一梯度共生矩阵

3.4.2灰度一梯度共生矩阵特征提取

3.5 本章小结

4 图像检索系统设计与实现

4.1 系统模块和功能

4.2 系统流程

4.3 主要算法说明

4.3.1基于灰度共生矩阵的纹理特征提取算法

4.3.2纹理特征计算的代码

4.4 实验及结论

4.4.1检索系统的评价指标

4.4.2实验结果及分析

4.4.3本章小结

5 总结与展望

5.1 总结

5.2 展望

致谢

参考文献

1 前言

随着互联网技术向宽带、高速、多媒体方向的发展,人类正快速进入一个信息化的时代。各种信息工具、技术、载体等应运而生。在众多类型的信息资源中,图像具有直观、形象、易于理解和信息量大等特点,成为资源库的重要组成部分。同网络信息一样,由于图像数量巨大,种类繁多,加之排列方式错综复杂,这给图像检索带来了困难。近年来,基于内容的图像检索技术有了长足的发展。基于内容的图像检索能有效的对图像进行管理和检索,这项技术既充分体现了图像的信息特点,又充分结合了传统数据库技术,它的应用对解决信息膨胀,有效快速地利用多媒体信息有很好的实用价值。

图像的内容包括图像的颜色、纹理、形状等视觉特征和语义特征。其中,纹理特征作为最为显著的视觉特征之一,它是一种不依赖于颜色或亮度反映图像中同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息,以及与周围环境的联系。因此在基于纹理的图像检索中得到了广泛应用。

1.1 图像检索的发展现状

自90年代以来,基于内容的图像检索已经成为了一个非常活跃的研究领域。从目前的研究现状来看,基于内容的图像检索可分为3层。下层是基于颜色、纹理、形状等反映图像基本物理特征的检索,是最直接也是最基本的层面,用到图像信息处理、图像分析和相似性匹配技术。中间层是基于图像对象语义的检索,如图像中实体及实体之间的空间关系的检索,对象级检索技术建立在下层特征基础上,并引入了对象模型库、对象识别和人工智能等图像理解技术。最上层是基于图像概念级语义的检索,其技术建立在对象层语义特征提取的基础上,引入了对象和场景之间的逻辑、情感等高层语义的描述及识别,需要用到知识库和更加有效的人工智能和神经网络技术。

到目前为止,已有许多商业的或是用于研究的图像检索系统问世。QBIC(Query ByImage Content)图像检索系统是IBM公司90年代开发制作的图像和动态景象检索系统,是第一个基于内容的商业化的图像检索系统。用户无须提供文字检索词,只要输入以图像形式表达的图像检索要求就可以检索出一系列相似的图像。Virage是由Virage公司开发的基于内容的图像检索引擎。同QBIC系统一样,它也支持基于色彩、颜色、布局、纹理和结构等视觉特征的图像检索。Jerry等人还进一步提出了图像管理的一个开放式框架,将视觉特征分为通用特征(如颜色、纹理和形状)和领域相关特征两类。

Photobook是美国麻省理工学院的多媒体实验室所开发的用于图像查询和浏览的交互工具。它由两个子系统组成,分别负责提取形状、纹理、面部特征。因此,用户可以在这两个子系统中分别进行基于形状、基于纹理和基于面部特征的图像检索。

VisualSEEK是基于视觉特征的检索工具,WebSEEK是一种面向www的文本或图像搜索引擎。这两个检索系统都是由哥伦比亚大学开发的。VisualSEEK同时支持基于视觉特征的查询和基于空间关系的查询。WebSEEK包括两个主要模块:图像/视频采集模块,主题分类和索引模块、查找、浏览和检索模块。

Netra系统是加利福尼亚大学的A1exandria数字化图书馆项目(AlexandriaDigital Library)中用于图像检索的原型系统。它从分割后的图像区域中提取颜色、纹理、形状和空间位置信息,并依靠这些信息从数据库中查找相似的区域。Netra在研究方面的主要特点包括:采用了基于Gabor滤波器的纹理特征:基于神经网络的“图像词典”的构造和基于边缘流的图像分割。

MARS(Multimedia AnalysiS and Retrieval System)是美国伊利诺斯大学开发的,它无论在研究角度还是应用领域都和其他的图像检索系统有很大的差异。MARS是计算机视觉、数据库管理系统以及传统的信息检索技术多个领域交叉的结果,它的主要特点包括:数据库管理系统和信息检索技术的结合;索引技术和检索技术的融合以及计算机和人的融合。MARS系统的重点在于根据实际的应用环境和用户的需要,在检索框架中动态地组合和调整各种不同的图像特征。MARS在图像检索领域正式提出了相关反馈的体系结构。相关反馈技术在各种层次上融合到检索的过程中,包括查询向量的优化,相似度算法的自动选择,以及图像特征权重的调整。

国内的一些研究单位已相继开展了基于内容的图像检索的研究工作,并开发了一些实验系统。主要有清华大学在视频检索方面的研究,国防科大在多媒体数据库检索系统方面展开研究,浙江大学也于1995年开始了这方面的研究工作。西北大学可视化技术研究所从1998年开始研究基于内容的图像检索,研究成果在医学影像数据库和数字考古博物馆中已有应用,理论研究和具体实践都取得了可喜的进展。中科院计算机所智能信息处理重点实验室智能科学课题组开发的多媒体信息检索系统Mires开始尝试在药植物数据库、遥感图像检索系统等方面展开应用。2002年,吴冬生、吴乐南提出对JPEG图像的DCT系数利用多分辨率小波变换的形式进行重组,对整个数据库中的所有图像的DCT系数重组得到的若干子带,分别建立子带能量直方图,而后采用Norton顺序建立图像的索引,并采用B树结构组织图像数据库用于图像检索。

1.2 图像检索技术分类

基于内容的图像检索技术实际上是一种模糊查询技术,通过对图像提取一定的特征,找出在特征空间中与查询要求最接近的图像。

基于内容的图像检索技术通常需要明确两个问题:一、如何提取特征,二、特征如何匹配。图像特征(即内容)的提取是基于内容的图像检索(CBIR.Content-Based ImageRetrieval)的基础。对于基于内容的检索系统,根据其处理的对象可以将其分为静止图像检索和活动视频检索。本论文主要讨论可视化静态图像特征的提取。根据所提取的特征不同,当前基于内容的图像检索技术可以分为以下几类:

1.基于颜色特征

颜色是图像内容组成的基本要素,是人识别图像的主要感知特征之一,相对与其它特征,颜色特征非常稳定,对于图像的平移、尺度、旋转变化不敏感,具有很强的鲁棒性,而且颜色特征计算简单,因此基于颜色的查询是基于内容的图像检索中应用最广泛的方法。

2.基于纹理特征

纹理是图像的一个重要的特征。准确的纹理定义并不存在,一种定义认为纹理是由纹理基元按某种确定性的规律或者只有某种统计规律排列组成的。另一种更为模糊的定义是纹理是由大量或多或少有序的相似基元或模式组成的一种结构。使用数学或信息论的方法抽取的纹理度量称为纹理特征,纹理特征可用来对图像中的空间信息进行定量的描述。纹理分析的方法主要分为两类:结构方法和统计方法。结构方法假定图像由较小的纹理基元排列而成,只适用于规则的纹理结构。统计方法又可进一步分为传统的统计方法、基于模型的方法和基于频谱分析的方法。传统的统计分析方法始于20世纪70年代早期的二阶灰度统计特征的共生矩阵方法。80年代开始,基于随机场模型的技术被用于纹理分析。随机场模型包括圆同步自回归(Circular Simultaneous Autoregressive)模型和高斯马尔可夫随机场(GMRF,GaussianMarkov Random Field)模型。多尺度的思想促进了基于频谱分析方法的发展,特别是基于Gabor滤波器的技术在纹理分析中被广泛采用。在实际的检索系统中应用的纹理特征方法一般有:象素域法、共生矩阵法、视觉纹理特征表达法、分形编码法、小波变换法等。

3.基于形状特征

基于对物体的形状特征进行检索是基于内容检索中最具挑战性的问题之一,因为寻找符合人眼感知特性的形状特征并不是件简单的工作。形状特征的重要原则是对位移、旋转、尺度变换的不变性,人们出于识别和检索的目的,总是趋向于忽略这种变化。形状特征的描述一般可分为两类:基于边界和基于区域。前者利用的是形状的外边界,后者利用的是整个形状区域。描述方法有:边界方向直方图、傅立叶描述符、矩不变量、Chamfer匹配、Turning函数、小波描述算子以及2D,3D形状表达等。傅立叶描述符用傅立叶变换后的边界作为形状特征,用较少的参数可以包纳很复杂的边界。矩不变量是使用基于区域的矩(与变换无关)作为形状特征。

4.基于边缘/草图

基于边缘/草图的查询是用户提交一幅想要查询的物体的大致轮廓,由系统找出与此轮廓相匹配的图像。草图的查询可以通过计算图像的边缘图来实现,这种方法的缺点是没有方向和尺度的不变性,类似的图像可能因为方向和尺度的不同而被遗漏,这种问题需要有复杂的边缘表示和匹配算法来消除。

5.基于空间关系的

对于包含多目标的图像,目标之间的空间关系是又一种描述图像内容的特征。描述物体问的空间关系首先需要对图像进行目标分割和识别,然后可将图像转化成采用2维串2D String)编码的符号图像,2维串描述物体间的关系是通过一系列算子(上、下、左、右等),图像的检索问题变成了一个2维串匹配的问题。2维串的匹配是基于一个简单的分级方案,然而用于生成2维串的算法需要对象分割和识别,计算量相当大。

6.基于非视觉特征的

现在运行的商用系统通常采用关系型数据库,这些系统中图像的属性包括图像来源、拍摄时间和地点、媒介类型、分辨率、输入设备、压缩方式、以及与图片相关的注释信息,注释信息对于用户来说是非常自然的描述,然而这种特征描述因人而异,而且无法自动提取,给检索系统带来很大的困难。

1.3 研究内容与章节安排

1 在前言中,主要介绍国内外图像检索技术的历史发展、最新进展及应用状况,最后介绍图像检索技术的分类。

2 第二章介绍图像检索的基本原理。介绍检索系统的通用框架,检索系统的关键技术、检索的查询方式及其特点及图像的相似性度量。

3 第三章介绍基于纹理特征的图像检索算法。详细介绍基于灰度共生矩阵的纹理特征提取算法。

5 第四章介绍检索系统设计与实现。介绍系统模块和各模块的功能,检索系统的流程,并对主要算法进行详细说明,最后通过实验对给定的图像进行检索。

6 第五章总结与展望。总结论文,并提出了论文下一步的工作以及图像检索系统的发展方向。

2 图像检索的基本原理

基于内容的图像检索遵循概率排队的规则,根据用户的查询需要,对查询样本和库中图像分别计算相关特征,并比较特征的相似性,最后按相似性值由大到小排列库中图像,完成一个查询过程。这一新的研究方向涉及图像处理(Image Processing),图像识别(Image Recognition)和图像数据库(Image Database)技术,把这3个领域的研究成果进行有效的结合是该技术取得成功的基础。基于内容的图像检索技术由于能够根据图像的可视内容产生查询,从而方便了用户,检索时针对不同的具体应用,使用一种特征或组合几个特征进行检索。

基于纹理特征的图像检索是基于内容图像检索的一个方面,因此,本章将讨论基于内容的图像检索系统的通用框架、关键技术、检索查询方式及检索特点。

2.1 检索系统通用框架

基于内容的图像数据库检索系统是一种重要的多媒体信息处理技术。一般把基于内容的图像数据库检索系统看作是介于信息用户和数据库之间的一种信息服务系统。系统的通用框架如图2—1所示。

图2-1 基于内容的图像检索系统通用框架

(1)查询模块对用户提供多样的查询手段,以支持用户根据不同应用进行各种类型的查询工作。

(2)描述模块系统将用户的查询要求转化为对图像内。容比较抽象的内部表达描述,即以一定的计算机可以方便表达的数据结构描述给定图像的内容。这是基于内容的图像检索系统的关键模块,如何描述图像,直接关系到检索系统的性能。

(3)匹配模块将查询描述与图像库中被查询图像进行内容匹配和比较,以确定它们在内容上一致性和相似性。这个匹配结果将传给提取模块。匹配模块所使用的方法与描述方法密切相关。

(4)提取模块根据匹配的结果,在内容匹配的基础上将所有满足给定条件的图像自动地从图像库中提取出来。

(5)验证模块提取的图像是否满足用户要求还需验证。如果验证效果不满意,新一轮的查询可以通过修改查询条件而重新开始。

2.2 检索系统关键技术

基于内容的图像检索系统的关键技术为:图像的特征提取和图像数据索引结构的构造。下面分别介绍这两个关键技术。

2.2.1特征提取

特征抽取是基于内容的图像检索的基础,目前比较成熟的特征是颜色、纹理、形状和物体间方位关系。这些特征具有计算简单,性能稳定的特点,但这些特征都有一定的局限性。

1 颜色

颜色是一种重要的视觉信息属性,在图像查询与检索中是~种很有用的特征。相对于其它特征,颜色特征非常稳定,对于旋转、平移、尺度变化,甚至各种变形都不敏感,表现出相当强的鲁棒性,而且颜色特征计算简单,因此成为现有检索系统中应用最广泛的特征。

颜色检索的基本思想是将图像间的相似度归结为颜色直方图之问的距离。这方面奠基性的工作是Swain和Ballad提出的直方图求交算法,它计算两幅图像三维颜色直方图的每一个颜色单位,并进行细致的比较。Mehtre等人提出距离算法和参考颜色表方法,实验表明,每幅图像只需保留很少几种主要颜色就能得到很好的结果。

为了得到与人的感觉类似的相似性度量,一些研究者还提出采用其它的颜色空间模型和距离测度。Zhang等人采用了符合人眼感觉的HSV(HueSaturation Value)模型,Baraldi等人在进行直方图匹配时引入了二次型距离。另外,在提高检索对于光照的稳定性及空间分布信息的引入等方面,也出现了很多算法。

2 纹理

纹理是与物体表面材质有关的图像特征,目前也是基于内容的图像检索系统中的一个重要手段。

纹理分析一直是计算机视觉中的一个重要研究方向,其方法主要分为两类:结构方法和统计方法。结构方法假定图像由较小的纹理基元排列而成,它采用句法分析方法,只适用于规则的结构纹理。统计方法又可进一步分为传统的统计方法、基于模型的方法,以及基于频谱分析的方法。

传统的统计分析方法始于20世纪70年代早期,Haralick等人提出了基于二阶灰度统计特征的共生矩阵方法。之后,Tamura以人的主观心理度量为标准,提出了6个基本的纹理特征,这些特征与人的感受较一致,在许多图像检索系统中得到应用。20世纪80年代,基于随机场模型的技术被用于纹理分析中。Kashyap等人提出用CSAR模型提取旋转不变的纹理特征。麻省理工大学的Photo.book中采用了随机场的二维分解技术,得到周期性、方向性和随机性三种特征,用于纹理图像检索。

多尺度的思想促进了基于频谱分析方法的发展,特别是基于Gabor滤波器的技术在纹理分析中被广泛采用,Gabor滤波器可以通过调整获得图像不同方向和尺度的纹理信息。Lee等人把它用于图像检索,并把它与小波变换方法作了比较。

3 形状

  • 26
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值