Faiss PQ乘积量化的学习总结

最新推荐文章于 2024-08-19 21:06:08 发布

qq_35254726

最新推荐文章于 2024-08-19 21:06:08 发布

阅读量2.9k

点赞数 5

分类专栏：学习总结

本文链接：https://blog.csdn.net/qq_35254726/article/details/104429922

版权

本文介绍了Faiss库中的乘积量化（PQ）技术，它用于大规模向量搜索。通过K-means聚类生成码本，将高维数据压缩为四个数字，降低计算时间和复杂度，适用于海量数据的检索。训练过程对样本质量敏感，需要根据特定场景选择训练数据。

摘要由CSDN通过智能技术生成

好久么有写东西了，看来做一件事情，坚持真的很难。今天为什么想到写东西，是因为我刚才看到之前学过的东西又两眼摸黑了，脑子是个好东西，可惜我么有，哈哈。俗话说，好记性不如烂笔头，我今天就把他记录下来，以免我的老年痴呆复发，哈哈

首先，简单介绍下Faiss，由Facebook开发并且开源的一款针对聚类和相似性搜索的库，使用C++语言编写，并提供Python接口，内部一些算法也提供GPU实现，可做算法加速。支持十亿级别的向量搜索，是目前为止比较成熟的向量搜索库，据我所知，很多公司都是在此基础上进行二次开发与集成，来开展业务。当然，由于c++的使用局限，目前我们的使用是基于c++实现的Java封装接口，为了更好的实现业务需求。

好了，话不多说，开始干活。本文主要介绍的是Faiss中关于乘积量化的内容，包括示例（其他内容可以参考网络大神的分享），以便能清楚的理解具体的量化是如何实现的。目前业界关于相似近邻搜索算法 ANNS（Approximate Nearest Neighbor Search）主要有四类。包括基于树的算法（KD-tree，R* tree等），基于hash的算法（LSH），基于量化的算法（PQ），基于图的算法（FANNG，HNSW，NSG）。目前我在看的是NSG算法，头大……

下图想必大家都有看到过，但是是不是正真理解它的意思就不见得了，