Pyhton计算机视觉实验五——图像检索

原理

图像检索基本概述

从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术(简称TBIR)，利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。

到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索(简称CBIR)技术。CBIR属于基于内容检索(简称CBR)的一种，CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。

在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括三方面：一方面对用户需求的分析和转化，形成可以检索索引数据库的提问;另一方面，收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库;最后一方面是根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。

为了进一步提高检索的准确性，许多系统结合相关反馈技术来收集用户对检索结果的反馈信息，这在CBIR中显得更为突出，因为CBIR实现的是逐步求精的图像检索过程，在同一次检索过程中需要不断地与用户进行交互。

基于Bag of words模型的图像检索Bag-of-words models模型

Bag-of-words词袋模型最初被用在信息检索领域，对于一篇文档来说，假定不考虑文档内的词的顺序关系和语法，只考虑该文档是否出现过这个单词。假设有5类主题，我们的任务是来了一篇文档，判断它属于哪个主题。在训练集中，我们有若干篇文档，它们的主题类型是已知的。我们从中选出一些文档，每篇文档内有一些词，我们利用这些词来构建词袋。我们的词袋可以是这种形式：{‘watch’,‘sports’,‘phone’,‘like’,‘roman’,……}，然后每篇文档都可以转化为以各个单词作为横坐标，以单词出现的次数为纵坐标的直方图，如下图所示，之后再进行归一化，将每个词出现的频数作为文档的特征。

算法步骤

1. 收集图片，对图像进行sift特征提取。

2. 从每类图像中提取视觉词汇，将所有的视觉词汇集合在一起

3. 利用K-Means算法构造单词表。
   K-Means算法是一种基于样本间相似性度量的间接聚类方法，此算法以K为参数，把N个对象分为K个簇，以使簇内具有较高的相似度，而簇间相似度较低。SIFT提取的视觉词汇向量之间根据距离的远近，可以利用K-Means算法将词义相近的词汇合并，作为单词表中的基础词汇

4. 针对输入的特征集，根据视觉词典进行量化，把输入图像转化成视觉单词的频率直方图。

5. 构造特征到图像的倒排表，通过倒排表快速索引相关图像。

6. 根据索引结果进行直方图匹配。

实验结果及分析

数据集

训练集总共48中图片，其中包含6种动物（猫、狗、狮、虎、熊猫、考拉），每种动物各8张图片。

代码

1.生成词汇表，生成字典之前要先提取图像的SIFT特征点

# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist
from PCV.localdescriptors import sift

#获取图像列表
imlist = get_imlist('animal/')
nbr_images = len(imlist)

#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#提取文件夹下图像的sift特征
for i in range(nbr_images):
    sift.process_image(imlist[i], featlist[i])

#生成词汇
voc = vocabulary.Vocabulary('ukbenchtest')
voc.train(featlist, 1000, 10)
#保存词汇
# saving vocabulary
with open('BOW/vocabulary.pkl', 'wb'