faiss-cpu安装及基础使用

小小申明：类似文章非常多，本文仅作为自用整理，实际项目代码不会提供
version：20210902

Faiss(Facebook AI Similarity Search)基于索引的高维向量查询
更多内容可自行查看github-faiss项目说明

1. faiss安装

conda环境下，cpu版本

conda install faiss-cpu -c pytorch

2. faiss基础操作

demo文件示例：

# 准备示例数据
import numpy as np
d = 64                           # 维度
nb = 100000                      # 数据库的数据量
nq = 10000                       # 查询数据的数据量
np.random.seed(1234)             # make reproducible
xb = np.random.random((nb, d)).astype('float32')
xb[:, 0] += np.arange(nb) / 1000.
xq = np.random.random((nq, d)).astype('float32')
xq[:, 0] += np.arange(nq) / 1000.

# 构建索引并添加向量
import faiss                   # make faiss available
index = faiss.IndexFlatL2(d)   # 构建索引
# 这里使用了L2范式构建索引，还可以使用IndexFlatIP（内积）等其他类型索引
print(index.is_trained)
index.add(xb)                  # 向索引添加向量
print(index.ntotal)

# 查找
k = 4                          # 查找最近的top4
D, I = index.search(xb[:5], k) # 合理性检验
print(I)
print(D)
D, I = index.search(xq, k)     # 查找
print(I[:5])                   # 展示前五个查询的查询结果
print(I[-5:])                  # 展示后五个查询的查询结果

3. faiss常用索引

3.1. IndexFlatL2

基于L2距离的暴力全量搜索，速度较慢

3.2. IndexFlatIP

基于内积的暴力全量搜索，速度较慢

3.3. IndexIVFFlat

先聚类再搜索，可以加快检索速度

1. 先将xb中的数据进行聚类（聚类的数目是超参），nlist: 聚类的数目
2. nprobe: 在多少个聚类中进行搜索，默认为1, nprobe越大，结果越精确，但是速度越慢

3.4. IndexIVFPQ

基于乘积量化（product quantizers）对存储向量进行压缩，节省存储空间

• m：乘积量化中，将原来的向量维度平均分成多少份，d必须为m的整数倍
• bits: 每个子向量用多少个bits表示