近似最近邻搜索算法

本文介绍了两种基于向量的近似最近邻搜索算法——HNSW(Hierarchical Navigable Small World)和Annoy。HNSW利用分层网络图进行高效搜索,而Annoy则采用随机投影树实现快速查找。在内存占用和查询速度方面,HNSW表现出色,但内存需求较大。Annoy则以其小巧的索引和内存效率为特点。通过代码示例展示了这两种算法的实现过程。
摘要由CSDN通过智能技术生成

定义:

采用分而治之思想,将原始数据通过映射方法划分到不同的向量空间,针对大规模的搜索任务,通过映射函数在向量相似的空间进行遍历查询。

常用的几种算法:

基于图的索引量化法:HNSW
基于树:Annoy
基于哈希:SLH

HNSW(Hierarchical Navigable Small World)

是通过贪心算法遍历图,找出当前数据集中的最近邻点(局部最小值),以此作为插入并构建生成层状网络图,通过在下一层中不断寻找最近邻点插入构建,从而完成对特征向量集的维度分层、数据压缩、索引生成。检索时,采用自上而下的搜索方式,即从最顶层开始粗略搜索,然后逐步向下层搜索,直到最底层精确搜索。
在这里插入图片描述
根据Benchmark上的ANN算法的测试,HNSW算法在查询速度和精度上优于其他算法,但是占用内存大。
在这里插入图片描述

HNSW代码

import hnswlib
import time
import os
import psutil
def get_ann(length,dimen):
    start_time = time.time()
    pid = os.getpid()
    pp = psutil.Process(pid)
    info_start = pp.memory_full_info().uss/1024/1024
    #向量维度
    dim = dimen
    num_elements = length
    data = X
    data_labels = np.arange(num_elements)
    # 声明索引
    p = hnswlib.Index(space = 'l2', dim = dim) # hnswlib支持的距离有L2距离,向量内积以及cosine相似度
    # 初始化index
    p.init_index(max_elements = num_elements, ef_construction = 100, M = 16)
    # ef: 动态检索链表的大小。ef必须设置的比检索最近邻的个数K大。ef取值范围为k到集合大小之间的任意值。
    p.set_ef(50) 
    p.set_num_threads(4)#cpu多线程并行计算时所占用的线程数
    
    #构建items
    p.add_items(X, data_labels)
    index_path = 'data.bin'
    p.save_index(index_path)
    global labels, distances
    labels, distances = p.knn_query(data, k = 10)
    
    info_end=pp.memory_full_info().uss/1024/1024
    print('用时:%.2f s' % (time.time()-start_time))
    print('运行占内存'+str(info_end-info_start)+'MB')
get_ann(X.shape[0],X.shape[1])  

Annoy

基本思路:
给定一个查询向量,在一个庞大的向量集合中,找到与查询向量最相似的k个目标向量。工作原理:采用随机投影树,对所有的数据进行划分,将每次搜索与计算的点的数目减小到一个可接受的范围,然后建立多个随机投影树构成随机投影森林,将森林的综合结果作为最终结果。
如何构建随机森林:
随机选取一个向量,该向量经过原点,垂直于该向量的直线将平面内的点划分为两个部分,这两个部分的点分别划分给左子树和右子树。用数学语言是说,计算各个点与垂直向量的点积,若点积大于零的点划分到左子树,点积小于零的点划分到右子树。
优点:
索引小、内存占用小

Annoy代码

from annoy import AnnoyIndex
import time
import os
import psutil
# from guppy3 import hpy
def get_nn(length,dimen):
    start_time = time.time()#开始时间
    pid = os.getpid()
    p = psutil.Process(pid)
#     根据pid找到进程,进而找到占用的内存值
    info_start = p.memory_full_info().uss/1024/1024
    
    f = dimen#X的维度
    t = AnnoyIndex(f,'angular')#返回可读写的新索引,用于存储f维度向量
    for i in range(length):
        v = X[i]
        t.add_item(i,v)#构建 n_trees 的森林。查询时,树越多,精度越高。在调用build后,无法再添加任何向量。
    t.build(10)
    t.save('ann.ann')#将索引保存
    u = AnnoyIndex(f,'angular')
    u.load('ann.ann')
    global nn_list
    nn_list = []
    for i in range(length):
        nn_list.append(u.get_nns_by_item(i,10))#返回第i 个item的n个最近邻的item
        
 
    info_end=p.memory_full_info().uss/1024/1024
    print('用时:%s秒' % (time.time()-start_time))
    print('运行占内存'+str(info_end-info_start)+'MB')
    
    return nn_list
    
get_nn(len(X),X.shape[1])
  • 1
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶冻茶茶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值