传统图像检索方法和深度学习图像检索方法

最近计算机视觉大作业让比较一下图像检索的各种方法，于是进行了学习：
1.LSH
LSH(Locality-Sensitive Hashing)较为官方的理解为：将原始数据空间中的两个相邻数据点通过相同的映射后，这两个数据点在新的数据空间中仍然相邻的概率很大，而不相邻的数据点被映射到同一个桶的概率很小。也就是说，如果我们对原始数据进行一些hash映射后，我们希望原先相邻的两个数据能够被hash到相同的桶内，具有相同的桶号。因此，LSH算法使用的关键是针对某一种相似度计算方法，找到一个具有以上描述特性的hash函数，使得经过它们的哈希映射变换后，原始空间中相邻的数据落入相同的桶内，那么我们在该数据集合中进行近邻查找就变得容易，只需要将查询数据进行哈希映射得到其桶号，然后取出该桶号对应桶内的所有数据，再进行线性匹配即可查找到与查询数据相邻的数据。

在介绍各种传统的图像检测方法前，先介绍两个概念——图像指纹和汉明距离。

图像指纹和人的指纹一样，是身份的象征，而图像指纹简单点来讲，就是将图像按照一定的哈希算法，经过运算后得出的一组二进制数字。在给定的输入的图像中，我们可以使用一个散列函数， 并基于图像视觉上的外观计算它的“图像散列”值，相似的头像，它的散列值应该也是相似的。构建图像指纹的算法被称为感知哈希算法（Perceptual Hash Algorithm）。

通过上述对图像指纹的描述我们知道了可以利用感知哈希算法将图片转换成某种字符串，而比较字符串有一种名为汉明距离的表示方法。在信息论中，两个等长字符串之间的汉明距离（英语：Hamming distance）是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。

得到指纹以后，就可以对比不同的图片，看看64位中有多少位是不一样的。在理论上，这等同于计算‘汉明距离’（Hamming distance）。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。

这种算法的优点是简单快速，不受图片大小缩放的影响，缺点是图片的内容不能变更。如果在图片上加几个文字，它就认不出来了。所以，它的最佳用途是根据缩略图，找出原图。

实际应用中，往往采用更强大的感知哈希算法，它能够识别图片的变形。只要变形程度不超过25%，它们就能匹配原图。这些算法虽然更复杂，但是原理与上面的简便算法是一样的，就是先将图片转化成Hash字符串，然后再进行比较。

常用的感知哈希算法有三个，分别是平均哈希算法、感知哈希算法、差异值哈希算法。下面我们一一进行介绍。
三种不同的hash算法：

(一)、平均哈希算法(aHash)

此算法是基于比较灰度图每个像素与平均值来实现的，最适用于缩略图搜索。

步骤：

1.缩放图片：为了保留结构去掉细节，去除大小、横纵比的差异，把图片统一缩放到8*8，共64个像素。

2.转化为灰度图：把缩放后的图片转化为256阶的灰度图

3.计算平均值： 计算进行灰度处理后图片的所有像素点的平均值

4.比较像素灰度值：遍历64个像素，如果大于平均值记录为1，否则为0.

5.得到信息指纹：组合64个bit位，顺序随意保持一致性即可。

6.对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。(通常认为距离>10 就是两张完全不同的图片)

(二)、感知哈希算法(pHash)

平均哈希算法过于严格，不够精确，更适合搜索缩略图，为了获得更精确的结果可以选择感知哈希算法，它采用的是DCT(离散余弦变换)来降低频率的方法。

步骤：

1.缩小图片：32 * 32是一个较好的大小，这样方便DCT计算

2.转化为灰度图：把缩放后的图片转化为256阶的灰度图

3.计算DCT:DCT把图片分离成分率的集合

4.缩小DCT：DCT是3232，保留左上角的88，这些代表的图片的最低频率

5.计算平均值：计算缩小DCT后的所有像素点的平均值

6.进一步减小DCT：大于平均值记录为1，反之记录为0

7.得到信息指纹：同平均哈希算法

8.对比指纹：同平均哈希算法

(三)、差异哈希算法( dHash)

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率几乎相同的情况下的效果要更好，它是基于渐变实现的。

步骤：

1.缩小图片：收缩到9*8的大小，共72个像素点

2.转化为灰度图：把缩放后的图片转化为256阶的灰度图

3.计算差异值：dHash算法工作在相邻像素之间，这样每行9个像素之间产生了8个不同的差异，一共8行，则产生了64个差异值

4.获得指纹：如果左边像素的灰度值比右边高，则记录为1，否则为0

5.对比指纹：同平均哈希算法

三种方法的检索结果

2.基于深度学习的图像检索
使用VGG16来提取图片特征，保存到h5文件中，在测试阶段再提取我们要检索的图片的特征，然后与h5中的特征采用余弦相似度进行特征向量的距离计算，得到3张与检测图片最相近的结果，并显示出来。


第一张为我们要检索的图片，后面三张为检索结果。
test.py:

特征提取：