向量化召回算法ANN、IVF、HNSW、IVF-PQ

最新推荐文章于 2025-03-15 10:48:28 发布

taoqick

最新推荐文章于 2025-03-15 10:48:28 发布

阅读量1.8k

点赞数 16

文章标签：算法

本文链接：https://blog.csdn.net/taoqick/article/details/143272728

版权

ANN（Approximate Nearest Neighbor）意为近似近邻搜索，即通过模型预计算，建立索引或图以便在线检索时通过剪枝或图检索从而加速检索过程，通常为非穷尽检索。目前常用的ANN 检索方式有 IVF, HNSW, BTree, IVF-PQ。

IVF

IVF(lnverted File)通过在模型预计算时将所有候选进行KMeans聚类，即检索距离最近的m个聚类蔟，遍历这m个聚类蔟下所有候选，计算得出距离最近的topk候选。扩大IVF检索覆盖范围或增加聚类数都可以提高检索精度，这也正是IVF-PQ以及BTree分别采用的思路。

HNSW

HNSW(Hierarchical Navigable Small World) 类似于跳表的思想，在构建阶段，在搜索时，从最高层的入点出发，逐层贪心搜索距离query vec最近的点，当一层达到收敛后，进入下一层，直至到达底层，在底层L0中，包含候选集中所有的点，即全量数据图网络。在L0层中开始深度优先搜索距离query vec最近的候选点集，每次将距离query vec最近的点加入候选点集中，若候选点集已满，则弹出最远候选点，直至候选点集收敛。

微软、FB、阿里的相关论文(DistANN,NSG,SSG)对HNSW的性能做了大量的研究与改进，经验上来说，召回的topk比较小的情况下（例如召回只有几百的情况下），HNSW的召回率较高，因此HNSW更适合推荐场景；但如果召回的topk比较大的情况下（例如召回达到2000左右的规模），IVF更适合一些