哈希编码学习（一）

在信息检索中，我们给定一个query，要从训练集中检索出和它匹配的信息，一种简单的方法是计算该query与训练集中的每个样本的欧氏距离，然后对所有样本的欧氏距离进行升序排序，取出前k个近邻，从而得到搜索的结果。通常情况下，训练集中样本的个数非常大，并且每个样本的维度也不低，计算欧氏距离所需要的时间和空间复杂度都比较高，为了能实时地得到搜索的结果，必须要想出一个方案，用来减少计算复杂度。
我们知道，计算机非常擅长逻辑运算，而乘法运算的计算复杂度相对要高很多，计算欧氏距离需要用到乘法和加法运算，故其计算复杂度比较高。鉴于计算机的这一特性，我们自然而然想到通过把原始的样本向量映射成二值向量，然后计算二值向量之间的汉明距离（Hamming distance），从而得到搜索结果。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。对于两个向量a和b，计算它们的汉明距离只需用按位异或运算和加法运算即可，即：
HD(a,b) = sum(a xor b)
在matlab中，按位异或运算可以直接调用bitxor()函数。
在这篇博文中，笔者主要介绍iterative quantization(ITQ)算法（源码链接：[hashing-baseline-for-image-retrieval](https://github.com/willard-yuan/hashing-baseline-for-image-retrieval)）。ITQ算法的主要思想是，对训练样本集X，其中X的每行表示一个样本，对其进行归一化处理，使得X的每一列的均值都为零，也就是坐标原点位于所有样本的中心，然后用PCA或者CCA方法，对X进行降维（如图1），对降维之后的样本，再进行旋转（如图2），使得所有旋转后的样本距离黑色的正方形的顶点的距离最小。
![图1 用PCA降维后的样本](https://img-blog.csdn.net/20160826154524267)
![图2 旋转后的样本](https://img-blog.csdn.net/20160826154641785)
参考文献：Iterative Quantization: A Procrustean Approach to Learning Binary Codes