定义:
采用分而治之思想,将原始数据通过映射方法划分到不同的向量空间,针对大规模的搜索任务,通过映射函数在向量相似的空间进行遍历查询。
常用的几种算法:
基于图的索引量化法:HNSW
基于树:Annoy
基于哈希:SLH
HNSW(Hierarchical Navigable Small World)
是通过贪心算法遍历图,找出当前数据集中的最近邻点(局部最小值),以此作为插入并构建生成层状网络图,通过在下一层中不断寻找最近邻点插入构建,从而完成对特征向量集的维度分层、数据压缩、索引生成。检索时,采用自上而下的搜索方式,即从最顶层开始粗略搜索,然后逐步向下层搜索,直到最底层精确搜索。
根据Benchmark上的ANN算法的测试,HNSW算法在查询速度和精度上优于其他算法,但是占用内存大。
HNSW代码
import hnswlib
import time
import os
import psutil
def get_ann(length,dimen):
start_time = time.time()
pid = os.getpid()
pp = psutil.Process(pid)
info_start = pp.memory_full_info().uss/1024/1024
#向量维度
dim = dimen
num_elements = length
data = X
data_labels = np.arange(num_elements)
# 声明索引
p = hnswlib.Index(space = 'l2', dim = dim) # hnswlib支持的距离有L2距离,向量内积以及cosine相似度
# 初始化index
p.init_index(max_elements = num_elements, ef_construction = 100, M = 16)
# ef: 动态检索链表的大小。ef必须设置的比检索最近邻的个数K大。ef取值范围为k到集合大小之间的任意值。
p.set_ef(50)
p.set_num_threads(4)#cpu多线程并行计算时所占用的线程数
#构建items
p.add_items(X, data_labels)
index_path = 'data.bin'
p.save_index(index_path)
global labels, distances
labels, distances = p.knn_query(data, k = 10)
info_end=pp.memory_full_info().uss/1024/1024
print('用时:%.2f s' % (time.time()-start_time))
print('运行占内存'+str(info_end-info_start)+'MB')
get_ann(X.shape[0],X.shape[1])
Annoy
基本思路:
给定一个查询向量,在一个庞大的向量集合中,找到与查询向量最相似的k个目标向量。工作原理:采用随机投影树,对所有的数据进行划分,将每次搜索与计算的点的数目减小到一个可接受的范围,然后建立多个随机投影树构成随机投影森林,将森林的综合结果作为最终结果。
如何构建随机森林:
随机选取一个向量,该向量经过原点,垂直于该向量的直线将平面内的点划分为两个部分,这两个部分的点分别划分给左子树和右子树。用数学语言是说,计算各个点与垂直向量的点积,若点积大于零的点划分到左子树,点积小于零的点划分到右子树。
优点:
索引小、内存占用小
Annoy代码
from annoy import AnnoyIndex
import time
import os
import psutil
# from guppy3 import hpy
def get_nn(length,dimen):
start_time = time.time()#开始时间
pid = os.getpid()
p = psutil.Process(pid)
# 根据pid找到进程,进而找到占用的内存值
info_start = p.memory_full_info().uss/1024/1024
f = dimen#X的维度
t = AnnoyIndex(f,'angular')#返回可读写的新索引,用于存储f维度向量
for i in range(length):
v = X[i]
t.add_item(i,v)#构建 n_trees 的森林。查询时,树越多,精度越高。在调用build后,无法再添加任何向量。
t.build(10)
t.save('ann.ann')#将索引保存
u = AnnoyIndex(f,'angular')
u.load('ann.ann')
global nn_list
nn_list = []
for i in range(length):
nn_list.append(u.get_nns_by_item(i,10))#返回第i 个item的n个最近邻的item
info_end=p.memory_full_info().uss/1024/1024
print('用时:%s秒' % (time.time()-start_time))
print('运行占内存'+str(info_end-info_start)+'MB')
return nn_list
get_nn(len(X),X.shape[1])