BOW图像检索

一、基于BOW的图像检索原理

1.1原理

考虑将Bag-of-words模型应用于图像表示。为了表示一幅图像，我们可以将图像看作文档，即若干个“视觉词汇”的集合，同样的，视觉词汇相互之间没有顺序。由于图像中的词汇不像文本文档中的那样是现成的，我们需要首先从图像中提取出相互独立的视觉词汇，这通常需要经过三个步骤：
（1）特征检测
（2）特征表示
（3）单词本的生成
通过观察会发现，同一类目标的不同实例之间虽然存在差异，但我们仍然可以找到它们之间的一些共同的地方，比如说人脸，虽然说不同人的脸差别比较大，但眼睛，嘴，鼻子等一些比较细小的部位，却观察不到太大差别，我们可以把这些不同实例之间共同的部位提取出来，作为识别这一类目标的视觉词汇。

第一步：利用SIFT算法，从每类图像中提取视觉词汇，将所有的视觉词汇集合在一起
第二步：利用K-Means算法构造单词表。K-Means算法是一种基于样本间相似性度量的间接聚类方法，此算法以K为参数，把N个对象分为K个簇，以使簇内具有较高的相似度，而簇间相似度较低。SIFT提取的视觉词汇向量之间根据距离的远近，可以利用K-Means算法将词义相近的词汇合并，作为单词表中的基础词汇
第三步：利用单词表的中词汇表示图像。利用SIFT算法，可以从每幅图像中提取很多个特征点，这些特征点都可以用单词表中的单词近似代替，通过统计单词表中每个单词在图像中出现的次数，可以将图像表示成为一个K=4维数值向量。

1.2检索步骤

1、特征提取
2、学习“视觉词典”
3、针对输入特征集，根据视觉词典进行量化
4、把输入图像根据，TF-IDF转换成视觉单词的频率直方图
5、构造特征到图像的倒排表，通过倒排表快速索引相关图像
6、根据索引结果进行直方图匹配

二、实验过程与分析

2.1实验环境准备

1.vlfeat
安装说明见之前的实验：SIFT特征提取与检索及地理标记图像匹配
https://blog.csdn.net/weixin_45622220/article/details/104725429
2.安装PyQt5
cmd进入命令窗口，输入命令语句：pip install PyQt5
3.安装cherrypy
cmd进入命令窗口，输入命令语句：pip install cherrypy

2.2实验过程

2.2.1、进行SIFT特征提取，生成词汇

实验代码

# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist
import sift

#获取图像列表
imlist = get_imlist('C:/Users/Administrator/Documents/work/BOW/images/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#提取文件夹下图像的sift特征
for i in range(nbr_images):
    sift.process_image(imlist[i], featlist[i])

#生成词汇
voc