python jpg 压缩因子_Fiass - Faster search、Lower memory 、Run on GPUs

一、Faster search

太慢了，如何再快一点呢？

为了加快搜索速度，可以将数据集分割为多块。Faiss在d维空间中定义了维诺空间，每个数据库向量都落在其中的一个空间。 在搜索时，只查询向量x所在的空间数据库向量或者和几个相邻的数据库向量。

这是通过 IndexIVFFlat 索引完成的。这种类型的索引需要训练，可以在与数据库向量具有相同分布的向量集上训练。 实际上，我们只使用数据库向量本身训练就够了。

IndexIVFFlat 的过程其实分成两步。其中一步是将向量分配切分成维诺空间，每个空间都由一个中心定义，找到向量所属的维诺空间，这一般是由量化器完成，而另一步是在维诺空间找到向量的最近邻，这是另一个索引的任务，它通常是IndexFlatL2。

两个参数：nlist，单元格数；nprobe，执行搜索时访问的维诺空间数。搜索时间大致随nprobe线性增加。

python

nlist = 100

k = 4

quantizer = faiss.IndexFlatL2(d) # the other index

index = faiss.IndexIVFFlat(quantizer, d, nlist)

assert not index.is_trained

index.train(xb)

assert index.is_trained

index.add(xb) # add may be a bit slower as well

D, I = index.search(xq, k) # actual search

print(I[-5:]