计算机视觉——图像检索(Bag of Feature)

一、实验原理

1.概念

Bag of Feature 是一种图像特征提取方法，它借鉴了文本分类的思路（Bag of Words），从图像抽象出很多具有代表性的关键词，形成一个字典，再统计每张图片中出现的关键词数量，得到图片的特征向量。

2.Bag of Words 模型

Bag of Words 是文本分类中一种通俗易懂的策略。一般来讲，如果我们要了解一段文本的主要内容，最行之有效的策略是抓取文本中的关键词，根据关键词出现的频率确定这段文本的中心思想。比如：如果一则新闻中经常出现「iraq」、「terrorists」，那么，我们可以认为这则新闻应该跟伊拉克的恐怖主义有关。而如果一则新闻中出现较多的关键词是「soviet」、「cuba」，我们又可以猜测这则新闻是关于冷战的。（如下图）

这里所说的关键词，就是「Bag of words」中的 words ，它们是区分度较高的单词。根据这些 words ，我们可以很快地识别出文章的内容，并快速地对文章进行分类。

而 Bag of Feature 也是借鉴了这种思路，只不过在图像中，我们抽出的不再是一个个「word」，而是图像的关键特征「Feature」，所以研究人员将它更名为「Bag of Feature」。

3.Bag of Feature 算法

Bag of Feature的本质是提出一种图像的特征表示方法。

按照Bag of Word的思想，首先我们要找到图像中的关键词，而且这些关键词必须具备较高的区分度。实际过程中，通常会采用SIFT特征。
特征提取：

有了特征之后，我们会将这些特征通过聚类算法得出很多聚类中心。这些聚类中心通常具有较高的代表性，比如对于人脸来说，虽然不同人的眼睛、鼻子等特征都不尽相同，但它们往往具有共性，而这些聚类中心就代表了这类共性。我们将这些聚类中心组合在一起，形成一部字典（CodeBook）。
特征聚类：

对于图像中的每个「SIFT」特征，我们能够在字典中找到最相似的聚类中心，统计这些聚类中心出现的次数，可以得到一个向量表示(直方图)，这些向量就是所谓的「Bag」。这样，对于不同类别的图片，这个向量应该具有较大的区分度，基于此，我们可以训练出一些分类模型（SVM等），并用其对图片进行分类。

4.步骤

1. 用sift算法生成图像库中每幅图的特征点及描述符。
2. 用k-means算法对图像库中的特征点进行聚类，得到一部视觉词典。
3. 针对输入特征集，根据视觉词典进行量化。
4. 把输入图像转化成视觉单词（visual words） 的频率直方图。
5. 构造特征到图像的倒排表，通过倒排表快速 索引相关图像。
6. 根据索引结果进行直方图匹配。

5.TF-IDF权值

TF-IDF是一种用于信息检索的常用加权技术，在文本检索中， 用以评估词语对于一个文件数据库中的其中一份文件的重要程度。 词语的重要性随着它在文件中出现的频率成正比增加，但同时会随着它在文件数据库中出现的频率成反比下降。TF的主要思想是：如果某个关键词在一篇文章中出现的频率高，说明该词语能够表征文章的内容，该关键词在其它文章中很少出现，则认为此词语具有很好的类别区分度，对分类有很大的贡献。 IDF的主要思想是：如果文件数据库中包含词语A的文件越少，则IDF越大，则说明词语A具有很好的类别区分能力。
词频(Term Frequency，TF)指的是一个给定的词语在该文件中出现的次数。如：tf = 0.030 ( 3/100 )表示在包括100个词语的文档中, 词语’A’出现了3次。
逆文档频率(Inverse Document Frequency，IDF)是描述了某一个特定词语的普遍重要性，如果某词语在许多文档中都出现过，表明它对文档的区分力不强，则赋予较小的权重;反之亦然。如:idf = 13.287 ( log (10,000,000/1,000) )表示在总的10,000,000个文档中，有1,000个包含词语’A’。
最终的TF-IDF权值为词频与逆文档频率的乘积。

二、实验内容

1.数据准备

在索引图像前，需要建立一个数据库。对图像进行索引就是从这些图像中提取描述子，利用词汇将描述子转换成视觉单词，并保持视觉单词及对应图像的单词直方图。在这之前需要先安装sqlite库。
数据集（103张图片）：

2.代码实现

2.1创建词汇

要为数据集里的图片创建视觉单词词汇，首先载入图像列表，利用SIFT提取特征描述子，获取特征列表，创建Vocabulary对象生成并保存词汇。

# -*- coding: utf-8 -*
import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist