计算机视觉 BOF图像检测

图像检索

两类图像检索

图像检索分为：
1、基于文本的图像检索（TBIR）：利用文本描述的方式描述图像的特征。
2、基于内容的图像检索（CBR）:对图像的颜色、纹理、布局等进行分析和检索的图像检索技术。

原理

1、对用户需求的分析和转化，形成可以检索索引数据库的提问
2、收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库
3、根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出

BOF

基于Bag of words模型的图像检索。

Bag-of-words models算法

1、收集图片，对图像进行sift特征提取。

2、从每类图像中提取视觉词汇，将所有的视觉词汇集合在一起

3、利用K-Means算法构造视觉词典。
K-Means算法是一种基于样本间相似性度量的间接聚类方法，此算法以K为参数，把N个对象分为K个簇，以使簇内具有较高的相似度，而簇间相似度较低。SIFT提取的视觉词汇向量之间根据距离的远近，可以利用K-Means算法将词义相近的词汇合并，作为单词表中的基础词汇
由聚类中心代表的视觉词汇形成视觉词典：

4、针对输入的特征集，根据视觉词典进行量化，把输入图像转化成视觉单词的频率直方图。

5、构造特征到图像的倒排表，通过倒排表快速索引相关图像。
6、根据索引结果进行直方图匹配。

代码实现

训练集

代码

给训练图像集生成词汇字典

import numpy as np
import csv

data = []
with open("data.csv","r") as csvfile:
    csv_reader = csv.reader(csvfile)  # 使用csv.reader读取csvfile中的文件
    h = next(csv_reader)  # 读取第一行每一列的标题
    for row in csv_reader:  # 将csv 文件中的数据保存到birth_data中
        data.append(row[1:])

X = [[float(x) for x in row] for row in data] #将字符串转成float类型
X = np.array(X)


# 协方差
def Covariance(X, w, h):
    row_arr = []
    #i=0;
    for i in range(h-1):
        for j in range(h-1):
            aver_xi = sum(X[:, i]) / w
            aver_xj = sum(X[:, j]) / w
            cov = sum(np.subtract(X[:, i], aver_xi) * np.subtract(X[:, j], aver_xj)) / (w - 1)
            row_arr.append(cov)
    row_arr = np.array(row_arr, dtype=float)
    row_arr.resize(h - 1, h - 1)
    return row_arr

# 主成分贡献率
def Contribution(eg):
    sort_eg = sorted(eg,reverse=True)#排序
    sum_eg = sum(sort_eg)#总和
    #累计贡献率
    cum_con = []
    for i in range(1,len(sort_eg)+1):
        cum_con.append(sum(sort_eg[:i])/sum_eg)
    return sort_eg,sum_eg,cum_con

# 确定主成分
def mainCum(cum_con):
    for i in range(len(cum_con)):
        if cum_con[i] >= 0.9:
            break
    return i
# 降维
def ReDimension(X,eigenvalue,featurevector,sort_eg,z):
    P = []
    for i in range(z+1):
        index = np.where(eigenvalue == sort_eg[i])[0][0]
        P.append(featurevector[index, :])
    P = np.array(P, dtype=float)
    Y = np.dot(X, P.T)
    return Y, P

将图像添加到数据库

import pickle
from PCV.imagesearch import imagesearch
from PCV.localdescriptors import sift
from sqlite3 import dbapi2 as sqlite
from PCV.tools.imtools import get_imlist

#获取图像列表
imlist = get_imlist('D:/pythonProjects/ImageRetrieval/animaldb/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

# load vocabulary
#载入词汇
with open('D:/pythonProjects/ImageRetrieval/animaldb/vocabulary.pkl', 'rb') as f:
    voc = pickle.load(f)
#创建索引
indx = imagesearch.Indexer('testImaAdd.db',voc)
indx.create_tables()
# go through all images, project features on vocabulary and insert
#遍历所有的图像，并将它们的特征投影到词汇上
for i in range(nbr_images)[:500]:
    locs,descr = sift.read_features_from_file(featlist[i])
    indx.add_to_index(imlist[i],descr)
# commit to database
#提交到数据库
indx.db_commit()

con = sqlite.connect('testImaAdd.db')
print(con.execute('select count (filename) from imlist').fetchone())
print(con.execute('select * from imlist').fetchone())

图像检索

import pickle
from PCV.localdescriptors import sift
from PCV.imagesearch import imagesearch
from PCV.geometry import homography
from PCV.tools.imtools import get_imlist

# load image list and vocabulary
#载入图像列表
#imlist = get_imlist('E:/Python37_course/test7/first1000/')
imlist = get_imlist('D:/pythonProjects/ImageRetrieval/animaldb/')
nbr_images = len(imlist)
#载入特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#载入词汇
with open('D:/pythonProjects/ImageRetrieval/animaldb/vocabulary.pkl', 'rb') as f:
    voc = pickle.load(f)

src = imagesearch.Searcher('testImaAdd.db',voc)# Searcher类读入图像的单词直方图执行查询

# index of query image and number of results to return
#查询图像索引和查询返回的图像数
q_ind = 0          # 匹配的图片下标
nbr_results = 148  # 数据集大小

# regular query
# 常规查询(按欧式距离对结果排序)
res_reg = [w[1] for w in src.query(imlist[q_ind])[:nbr_results]] # 查询的结果 
print ('top matches (regular):', res_reg)

# load image features for query image
#载入查询图像特征进行匹配
q_locs,q_descr = sift.read_features_from_file(featlist[q_ind])
fp = homography.make_homog(q_locs[:,:2].T)

# RANSAC model for homography fitting
#用单应性进行拟合建立RANSAC模型
model = homography.RansacModel()
rank = {}
# load image features for result
#载入候选图像的特征
for ndx in res_reg[1:]:
	try:
    	locs,descr = sift.read_features_from_file(featlist[ndx])  # because 'ndx' is a rowid of the DB that starts at 1
	except:
		continue
    # get matches
    matches = sift.match(q_descr,descr)
    ind = matches.nonzero()[0]
    ind2 = matches[ind]
    tp = homography.make_homog(locs[:,:2].T)
    # compute homography, count inliers. if not enough matches return empty list
    # 计算单应性矩阵
    try:
        H,inliers = homography.H_from_ransac(fp[:,ind],tp[:,ind2],model,match_theshold=4)
    except:
        inliers = []
    # store inlier count
    rank[ndx] = len(inliers)

# sort dictionary to get the most inliers first
# 对字典进行排序，可以得到重排之后的查询结果
sorted_rank = sorted(rank.items(), key=lambda t: t[1], reverse=True)
res_geom = [res_reg[0]]+[s[0] for s in sorted_rank]
print ('top matches (homography):', res_geom)

# 显示查询结果
imagesearch.plot_results(src,res_reg[:6]) #常规查询
imagesearch.plot_results(src,res_geom[:6]) #重排后的结果

运行结果

1、输入检索图像

2、常规查询结果

3、重排后的结果