faiss-cpu安装及基础使用
小小申明:类似文章非常多,本文仅作为自用整理,实际项目代码不会提供
version:20210902
Faiss(Facebook AI Similarity Search)基于索引的高维向量查询
更多内容可自行查看github-faiss项目说明
1. faiss安装
conda环境下,cpu版本
conda install faiss-cpu -c pytorch
2. faiss基础操作
demo文件示例:
# 准备示例数据
import numpy as np
d = 64 # 维度
nb = 100000 # 数据库的数据量
nq = 10000 # 查询数据的数据量
np.random.seed(1234) # make reproducible
xb = np.random.random((nb, d)).astype('float32')
xb[:, 0] += np.arange(nb) / 1000.
xq = np.random.random((nq, d)).astype('float32')
xq[:, 0] += np.arange(nq) / 1000.
# 构建索引并添加向量
import faiss # make faiss available
index = faiss.IndexFlatL2(d) # 构建索引
# 这里使用了L2范式构建索引,还可以使用IndexFlatIP(内积)等其他类型索引
print(index.is_trained)
index.add(xb) # 向索引添加向量
print(index.ntotal)
# 查找
k = 4 # 查找最近的top4
D, I = index.search(xb[:5], k) # 合理性检验
print(I)
print(D)
D, I = index.search(xq, k) # 查找
print(I[:5]) # 展示前五个查询的查询结果
print(I[-5:]) # 展示后五个查询的查询结果
3. faiss常用索引
3.1. IndexFlatL2
基于L2距离的暴力全量搜索,速度较慢
3.2. IndexFlatIP
基于内积的暴力全量搜索,速度较慢
3.3. IndexIVFFlat
先聚类再搜索,可以加快检索速度
- 先将xb中的数据进行聚类(聚类的数目是超参),nlist: 聚类的数目
- nprobe: 在多少个聚类中进行搜索,默认为1, nprobe越大,结果越精确,但是速度越慢
3.4. IndexIVFPQ
基于乘积量化(product quantizers)对存储向量进行压缩,节省存储空间
- m:乘积量化中,将原来的向量维度平均分成多少份,d必须为m的整数倍
- bits: 每个子向量用多少个bits表示