文章目录
BOW简介
BOW也就是Bag-of-Words,此模型源于文本分类技术。在信息检索中,它假定对于一个文本,忽略其词序、语法和句法,将其仅仅看作是一个词集合,或者说是词的一个组合。文本中每个词的出现都是独立的,不依赖于其他词是否出现,或者说这篇文章的作者在任意一个位置选择词汇都不受前面句子的影响而独立选择的。之后更多的研究者归结此方法为Bag-of-Features,并用于图像分类、目标识别和图像检索。Bag-of-Features模型仿照文本检索领域的Bag-of-Words方法,把每幅图像描述为一个局部区域或关键点(Patches/Key Points)特征的无序集合,每个特征点可以看成一个视觉单词,所有这些视觉单词构成的集合称为视觉词汇,有时也称为视觉码本。这样,就能够把文本检索及分类的方法用到图像分类及检索中去。
Bag of features基础流程
1.特征提取
运用sift算子提取图像特征。
2.学习"视觉词典"
将所有图像的所有SIFT特征点放在一起,进行聚类,得出的聚类中心便是视觉词汇(Visual vocabulary)。所有视觉词汇的集合便是视觉词典。聚类中心的大小可以设置,本实验采用的是K-Means聚类算法。
K-Means算法流程:
- 随机初始化K个聚类中心
- 重复下述步骤直至算法收敛
- 对应于每个特征,根据距离关系赋值给某个中心/类别
- 对每个类别,根据其对应的特征集重新计算聚类中心
3.针对输入的特征集,根据视觉词典进行量化
对于输入的特征(128维向量),将该特征映射到距离其最近的视觉单词,并实现计数,统计出词频直方图
4.把输入图像,根据TF-IDF转化成视觉单词的频率直方图
在文本检索中,不同的单词对文本检索的贡献有差异。运用到图像检索中也是同样的道理,每张图片都具有的共性特征的权重应该被降低。
投票值的大小也就是直方图上柱体的高度。
5.构造特征到图像的倒排表,通过倒排表快速索引相关图像
倒排法也就是特征到图像的映射关系。