计算机视觉8—基于BOW模型的图像检索和匹配

最新推荐文章于 2024-04-16 10:38:26 发布

w.wyue

最新推荐文章于 2024-04-16 10:38:26 发布

阅读量3.2k

点赞数 6

分类专栏：计算机视觉

本文链接：https://blog.csdn.net/qq_43653930/article/details/106176787

版权

2.1 BOW(Bag-of-words)

2.2 Bag-of-features

2.3 TF-IDF（词频-逆向文档频率）

1.图像搜索

图像搜索，是通过搜索图像文本或视觉特征，为用户提供互联网上相关图形图像资料检索服务的专业搜索引擎系统，是搜索引擎的一种细分。一种是通过输入与图片名称或内容相似的关键字来进行检索，另一种通过上传与搜索结果相似的图片或图片URL进行搜索。

由于图像不同于文本，需要人们按照各自的理解来说明其蕴含的意义，需要人工干预找出图像并进行分类，因此图像检索比起文本的查询和匹配要困难得多。图像搜索引擎大多支持关键词检索和分类浏览两种检索方式，主要的检索途径有三种：①基于图像外部信息，即根据图像的文件名或目录名、路径名、链路、ALT标签以及图像周围的文本信息等外部信息进行检索；②基于图像内容特征描述，即人工对图像的内容（如物体、背景、构成、颜色特征等）进行描述并分类，给出描述词，检索时主要在这些描述词中搜索检索词；③基于图像形式特征的抽取，由图像分析软件自动抽取图像的颜色、形状、纹理等特征，建立特征索引库，只需将要查找的图像的大致特征描述出来，就可以找出与之具有相近特征的图像。

1.1 基于文本的图像检索

基于文本的图像检索沿用了传统文本检索技术，主要是利用文本标注的方式为图像添加关键词，比如图像的物体，场景等，从图像名称、图像尺寸、压缩类型、作者、知年代等方面标引图像，一般以关键词形式的提问查询图像，通过图片的名称、文字信息和索引关系来实现查询功能。

在检索图像时候直接根据所要搜索的关键词就可以检索到想要的图像，这种方式实现起来简单，但是非常耗费人工（需要人为给每一张图像标注），对于大型数据库检索不太现实。而且人工标注存在人为认知误差，对相同图像，人理解不一样，也到导致标注不一致，这是基于文本图像检索的一个缺点。

1.2 基于内容的图像检索（CBIR ）

基于内容技术的图像检索系统，在建立图像数据库时，系统对输入的图像进行分析并分类统一建模，然后根据各种图像模型提取图像特征存入特征库，同时对特征库建立索引以提高查找效率。系统采用相似性匹配算法计算关键图像特征与特征库中图像特征的相似度，然后按照相似度从大到小的顺序将匹配图像反馈给用户。

使用了图像的可视特征对图像进行检索，本质上讲是一种近似匹配技术，融合了计算机视觉、图像处理、图像理解和数据库等多个领域的技术成果，其中的特征提取和索引的建立可由计算机自动完成，避免了人工描述的主观性。用户检索的过程一般是提供一个样例图像，系统抽取该查询图像的特征，然后与数据库中的特征进行比较，并将与查询特征相似的图像返回给用户。

2.BOW模型图像检索流程

2.1 BOW(Bag-of-words)

Bag-of-words 简称BOW，也叫做“词袋”，最初是为解决文档建模问题而提出的，在信息检索中，BOW模型假定对于一个文本，忽略其词序和语法、句法，将其仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词是否出现。

通过单词计数构建词袋，将文档转化为各个单词元素作为横坐标，以单词出现的次数作为纵坐标的直方图，从而建立文档索引，然后进行归一化处理，将每个词出现的频数作为文档的特征。

由于每篇文档长度不同，故除以直方图总和将向量归一化成单位长度。对于直方图向量中的每个元素，一般根据每个单词的重要性来赋予相应的权重。通常，数据集中一个单词的重要性与它在文档中出现的次数成正比，而与它在数据集中出现的次数成反比。最常用的权重是TF-IDF（词频-逆向文档频率）。

基本流程：

构建图像库，即数据集
提取图像库中所有图像的局部特征，如SIFT
对特征集合进行聚类，聚类的中心对应特征形成的码字表示视觉词汇，视觉词汇的集合构成视觉词典，对应一个码书，即码字的集合
统计图像中各个视觉词汇出现的频率

2.2 Bag-of-features

将BoW引入到计算机视觉中，将一幅图像看成文本对象，图像中的不同特征可以看着构成图像的不同词汇，类似于文本的BoW模型，将图片分成若干个图像块，构建“词库”，就可以使用图像特征在图像中出现的频率，使用一个一维的向量来描述图像，这就是Bag-of-features。

算法流程：

提取图像特征（常用SIFT）
训练字典，通过聚类算法对这些特征向量进行聚类（常用k-means），得到一部字典
量化图像特征，根据字典将图片表示成向量（直方图）；
训练分类器，根据数据库图片的向量以及图片的标签，训练分类器模型
再提取图像特征，根据字典量化直方图向量，用分类器模型对直方图向量进行分类

2.3 TF-IDF（词频-逆向文档频率）

TF:词频(Term Frequency)，指的是一个给定的词语在该文件中出现的次数。如果某个关键词在一篇文章中出现的频率高，则说明该词能表征文章的内容，该关键词在其它文章中很少出现，则认为此词语具有很好的类别区分度，对分类有很大的贡献。
IDF：逆文档频率(Inverse Document Frequency)，描述了某一个特定词语的普遍重要性，如果文件数据库中包含词语A的文件越少，则IDF越大，则说明词语A具有很好的类别区分能力。

TF-IDF权值为词频与逆文档频率的乘积。

TF-IDF是用于信息检索的一种常用加权技术，在文本检索中用来评估词语对于一个文件数据库中的其中一份文件的重要程度。词语的重要性随着它在文件中出现的频率成正比增加，随着它在文件数据库中出现的频率成反比下降。

2.3 视觉单词

视觉单词，又叫视觉词典，正如上面Bag-of-features的介绍所说，为了将文本挖掘技术应用到图像中，首先需要建立视觉等效单词，可以通过SIFT局部描述子做到。

其主要思想是将描述子空间量化成一些典型实例，并将图像中的每一个描述子指派到其中的某个实例中。这些典型实例可以通过分析训练图像集确定，并被视为视觉单词，所有这些视觉单词构成的集合称为视觉词汇，也称为视觉码本，视觉词汇的集合构成视觉词典，对应一个码书，即码字的集合。对于给定的问题、图像类型，或在通常情况下仅需呈现视觉内容，可以创建特定的词汇。

即：视觉单词（码字）—（构成）—视觉词汇（视觉码本&#