基于内容的图像检索系统 【多媒体系统导论大作业】

基于内容的图像检索系统

【摘要】本系统设计了一个基于MATLAB编写的图像检索算法。该课题设计偏重于理论方面，分别介绍了这几个部分所采用的一些方法。首先，对课题具体研究意义和相关背景进行简明阐述，其次，介绍图像内容检索理论的一些基本概念。其中包括图像的直方图等。最后，对图像进行颜色特征和LBP局部纹理特征融合特征，然后根据欧式距离进行计算，根据距离的不同，进行最后的结果显示。实验结果表明，该算法对图像检索具有很高的识别率。

【正文】

第一章 基于内容的图像检索简介及相关工作

1.1 简介

二十世纪末的时候，由于人工智能和计算机的发展突飞猛进，日新月异。各国对于图像分析的研究有了更大的进步，积极深入的研究。但是由于当时的技术并没有现在的技术能够达到一定的水平，计算机和图像识别技术也是处于不发达的时候，对图像的分辨率也没有达到要求，因此，只能说研究的结果并不理想。
在上个世纪八十年代左右，西方一些发达的国家为了能够解决图像检索问题，开始研究“图像检索系统”。但由于当时各方面技术的不成熟，是“图像检索系统”也处以一个初级阶段，并没有利用这种技术形成一套完成系统。而且在这种技术的应用上，也是处于解决具体问题的过程阶段。而到了九十年代，“图像检索系统”随着“计算机技术”和“机器视觉技术”的不断进步，也取得了突破性的进展。在这样的前提下，很多发达国家将这种技术正是应用到了搜索引擎中，而且从其结果看，非常的有成效。虽然“图像检索系统”有了突破性的进展，但是整体技术体系还不够完善。此时，该项技术并没有得到广泛的推广。
时至今日，“图像检索系统”已经得到了广泛的应用，同时给社会带来了巨大的社会价值和经济价值。

1.2 相关工作

本文以图像为主要研究对象，运用图像分析、图像识别以及MATLAB等学科的基本知识来进行相关算法的研究。对图像内容进行颜色特征和LBP提取，然后根据欧式距离进行计算，根据距离的不同，进行最后的匹配。

第二章 基于内容的图像检索原理及方法分析

2.1 颜色度量体系

所谓的颜色度量体系[7]，也就组织、表达颜色的方法。在这个体系中，主要的方法有两种：<1> 建立颜色模型。<2> 编目系统。我们都知道，任何一种颜色都是通过颜色中的三种基本色，按照一定的比例，混合而成。为了能够将所有颜色，真实、有效的表示出来。我们可以按照一定的原则，将代表颜色的数值进行组合、排序。这也就是我们建立的“颜色模型”。在某种意义上来讲，颜色空间所代表的含义，与颜色模型是一样的。在实际的检索中，我们要获取的多数是彩色图像。所以，在实际的颜色模型运用中，“RGB”相加混合模型更为常见。为什么是RGB这三个字母相加呢？因为，R代表红色、G代表绿色、B代表蓝色。这是颜色中的三种基础色，将它们按照适当的比例，进行混合，可以得到任何想得到的颜色。
颜色空间是一个立体空间。在颜色空间里，我们可以通过建立三维模型的方式，将所有的颜色进行有效的表达。在颜色空间中，我们用三维坐标来表示三个参数。颜色在颜色空间中的位置，也是通过这三个参数来表达的。那么，在建立颜色空间时，我们应该主要以下几个方面：
（1）建立的颜色空间是不是包括了，人类所能感知到的所有颜色。
（2）颜色在空间度量上的差异，与人类视觉系统对颜色感知的差异是不是一样。
（3）在颜色空间里每种颜色，是不是独一无二的。

2.2 颜色特征的表达

(1)颜色直方图的定义
我们把颜色的信息，用函数的形式表示出来。这种函数被称为“颜色直方图”[9]。它的核心是：将一副图像的颜色建立颜色空间，统计出在这个颜色空间中，每种颜色出现的次数。颜色直方图重点表示的，一幅图像中，每种不同的颜色在这幅图像颜色中所占的百分比。对于每种颜色的位置，没有进行相关的描述。基于它的核心，它能够很好的反应出，一副图像的颜色分布情况。当存在图像分割困难的情况下，我们可以采用这种方式。或者可以忽略物体位置的图像的处理。
从理论方面上看，我们可以在不同的颜色空间，不同的坐标系中建立“颜色直方图”。但是，在实际中，我们习惯了用RGB颜色空间，来表示数字图像。而数字图像的处理占据着图像处理工作的很大比重。因此，我们通常会在RGB颜色空间建立颜色直方图。在RGB颜色空间中，给彩色图像建立颜色直方图时，可以有两种选择。即：<1> 用三个单色直方图表示。<2> 用三个单色联合分布的直方图表示。用第一种方法建立的颜色直方图，是体现了图像，在三个单色中的分布情况。用第二种方法建立颜色直方图时，反应的是，每种颜色在图像中出现的频数。
在RGB颜色空间中，颜色直方图可以看成是一个离散函数，即

其中：
k—表示图像的特征取值.
L—表示特征可取值的个数。
n—表示图像像素的总个数。

(2)颜色直方图的特性
颜色直方图具有几个特性。即：<1> 旋转不变。<2> 缩放不变。<3> 位置无关性。<4>叠加性。颜色直方图的旋转不变性、缩放不变性，是受到了直方图中，横轴和纵轴代表的含义影响。即：
横轴—颜色等级。
纵轴—某一个颜色等级上，具有该颜色的像素，在整幅图像中所占的百分比。
通过图5的展示，我们更加直观的了解到颜色直方图的这两个特性了。
通过直方图描述的内容，我们就可以看出，它主要针对的是像素的数量进行描述。而并没有体现出，颜色在颜色空间中的位置。这也就是为什么，一副图像只有一个直方图。
当不相连的两个区域，组成了一副完整的图像。那么这个图像的直方图，是这两个区域各自直方图的和。这也就恰恰证明了，颜色直方图具有叠加的特性。

（3）累加直方图
如果在提取图像特征时，有些数值并没有包括在特征中。那么就会有一些数值被漏掉，这些漏掉的数值被称为“零值”。一旦产生了零值，对下面直方图的相交计算，产生很大的影响。这样就会影响到最终的匹配结果。使得输出图像与检索图像存在较大的误差。
在累加直方图中，横坐标和纵坐标分别代表着：
横坐标—颜色。
纵坐标—坐标原点到该颜色的所有颜色的像素出现的频数。
这样，可以对累加直方图中的向量H作出如下定义：

表示C1~Ck种颜色的像素的累加频数：

                                                 （2.3）

我们已经计算出图像的一般直方图，可以方便地计算图像累加直方图。这样，最后得到的累加直方图特征向量为：

                         （2.4）     

2.3 LBP局部纹理特征分析
局部二值模式(Local binary patterns,LBP)是机器视觉领域中用于描述图像局部纹理特征的算子。具有旋转不变性和灰度不变性等显著的优点。局部二值模式是广泛用于图像分类的一种图像特征，它的特点是，在图像发生光照变化时，提取的特征仍然能够不发生大的改变。提取LBP的过程首先是将原始图像转换为LBP图，然后统计LBP图的LBP直方图，并以这个向量形式的直方图来表示原始的图像。LBP的基本思想是定义于像素的8邻域中，以中心像素的灰度值为阈值,将周围8个像素的值与其比较,如果周围的像素值小于中心像素的灰度值，该像素位置就被标记为0，否则标记为1。每个像素得到一个二进制组合，就像00010011。每个像素有8个相邻的像素点，即有2^8种可能性组合。
LBP操作可以被定义为

其中 (xc,yc)是中心像素，亮度是 ic ； ip而则是相邻像素的亮度。

2.4 欧式距离法
我们可以利用欧基里德距离公式（Euclidean Distance）来计算距离。对于两个 N维直方图x,y，两者的欧氏距离可以表示如下：

此距离公式虽然简单，但是与特定的颜色分布无关，有一种方法可以引入相关权值A,这里A是一个 维矩阵，此时距离公式可以表述如下：

为了简化计算，将直方图x,y规范化使其满足：

第三章 实验论证

3.1流程图

根据过程流程图如下所示：
matlab实现步骤
首先，对训练集合的文件夹中的图片进行图像灰度变换，在经过LBP特征提取；再对图片进行颜色提取。
其次，是颜色和纹理特征相融合的算法，保存特征。
最后，对测试集合图片同样的颜色和纹理特征提取步骤，用欧式距离进行判定。
Matlab识别结果如下图：

代码如下

然后选择检索，即可看到我们搜索出来的结果

这次我们选择oxford里面的图片进行检索。

选择oxford数据库

进行检索后即可看到如图所示的结果。

3.3算法验证
MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。
Map=45.83%

【结论】
仿真结果表明本文设计的识别率高，操作简单，具有通用性，总体来说还是成功的，一项技术背后不是简简单单的就可以实现，而是需要通过无数的尝试才可以做到，的确来之不易。
由于本人水平有限，本文的软件实现只是单纯图像检索。除此之外，该系统还存在很多的不足之处，缺乏对整个识别系统的软件开发并且识别的准确率还不是很高，以及随着时代快速发展而出现的HOG特征识别技术，这些都将作为我将来研究的方向。
通过对于图像检索系统的不断了解，深入学习，我对图像检索的流程、图像处理技术以及MATLAB有了较深刻的了解，同时也在一定程度上锻炼了我的科研能力，今后也将不断努力，改进该系统，展示出更完美的作品。

【参考文献】
[1] Xuehu Yan,Lintao Liu,Yuliang Lu,Qinghong Gong. Security analysis and classification of image secret sharing[J]. Journal of Information Security and Applications,2019,47.
[2] 贾迪,朱宁丹,杨宁华,吴思,李玉秀,赵明远.图像匹配方法研究综述[J].中国图象图形学报,2019,24(05):677-699.
[3] 王忠芝,刘文萍,王晗,付慧.“数字图像处理”课程教学改革探索[J].中国林业教育,2019,37(03):66-69.
[4] 冉颖杭,谢天铧,霍连飞,孙克润,丁启朔,何瑞银,汪小旵.农田背景噪声下的土壤结构体数字图像信息特征[J].江苏农业学报,2019,35(02):313-320.
[5] 吴宇,蔡永斌,汤荣华.水下视觉图像处理和识别技术研究[J].舰船电子工程,2019,39(05):93-96.
[6] Machine Learning - Artificial Intelligence; Data from University of Girona Provide New Insights into Artificial Intelligence (Deep Convolutional Neural Networks for Brain Image Analysis On Magnetic Resonance Imaging: a Review)[J]. Computers, Networks & Communications,2019.

【附录】

具体代码见下载链接

https://download.csdn.net/download/weixin_43757333/12845650