Faiss 基础教程

于 2025-02-27 19:39:46 发布
阅读量1.1k 收藏 14
点赞数 16
分类专栏： RAG 文章标签： faiss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41472205/article/details/145912081
版权

目录

Faiss

Faiss（Facebook AI Similarity Search）是一个用于高效相似度搜索的库，特别适用于大规模的高维向量数据。它主要用于近似最近邻搜索（ANN），广泛应用于推荐系统、图像和文本相似度搜索等领域。

下面是如何使用 Faiss 的基本教程，包括安装、索引构建、插入数据和执行搜索的步骤。

1. 安装 Faiss

你可以通过以下命令安装 Faiss：

a. 安装 CPU 版本
pip install faiss-cpu
b. 安装 GPU 版本（如果你想使用 GPU 加速）
pip install faiss-gpu

2. 创建一个 Faiss 索引

首先，我们需要创建一个 Faiss 索引。Faiss 支持多种索引类型，不同的索引类型适用于不同的应用场景。最常见的索引类型包括：

  • Flat: 精确的暴力搜索（适合小规模数据）。
  • IVF (Inverted File): 更高效的近似搜索，适合中到大规模数据。
  • HNSW (Hierarchical Navigable Small World): 高效的近似搜索，适合大规模数据。
2.1 创建一个 Flat 索引
import faiss
import numpy as np

# 创建一个随机的 10000 条 128 维向量
d = 128  # 向量维度
nb = 10000  # 向量数量
np.random.seed(1234)
xb = np.random.random((nb, d)).astype('float32')

# 创建一个 Faiss 索引
index = faiss.IndexFlatL2(d)  # 使用 L2 距离度量创建 Flat 索引

# 向索引中添加向量
index.add(xb)

print("Number of vectors in the index:", index.ntotal)
2.2 创建一个 IVF 索引
# 创建一个 IVF 索引（适用于更大规模数据集）
nlist = 100  # 索引分桶的数量
quantizer = faiss.IndexFlatL2(d)  # 使用 Flat 索引作为量化器
index_ivf = faiss.IndexIVFFlat(quantizer, d, nlist, faiss.METRIC_L2)

# 训练索引（需要一个大部分数据的子集来训练索引）
index_ivf.train(xb)

# 向索引中添加数据
index_ivf.add(xb)

print("Number of vectors in IVF index:", index_ivf.ntotal)
2.3 创建一个 HNSW 索引
# 创建一个 HNSW 索引
index_hnsw = faiss.IndexHNSWFlat(d, 32)  # 32 是 HNSW 图的连接数

# 向索引中添加向量
index_hnsw.add(xb)

print("Number of vectors in HNSW index:", index_hnsw.ntotal)

3. 执行相似度搜索

假设你有一个查询向量，并且你想查找与之最相似的向量。

3.1 搜索最近邻向量
# 创建一个随机查询向量
xq = np.random.random((5, d)).astype('float32')  # 5 个查询向量

# 执行最近邻搜索，返回最相似的 5 个向量
k = 5  # 查找最相似的 5 个向量
D, I = index.search(xq, k)  # D 是距离，I 是索引

print("Distances of the nearest neighbors:\n", D)
print("Indices of the nearest neighbors:\n", I)

D 是距离矩阵，I 是索引矩阵，分别表示每个查询向量与最相似的 k 个向量之间的距离和对应的索引。

3.2 搜索时的优化（IVF 或 HNSW）

在使用 IVF 或 HNSW 时，你可能需要指定更多的搜索参数来优化检索效果，比如 nprobe（在 IVF 中控制搜索的分桶数量），或 efSearch（在 HNSW 中控制搜索效率）。

# 在 IVF 索引中执行搜索
index_ivf.nprobe = 10  # 搜索时考虑的桶的数量
D_ivf, I_ivf = index_ivf.search(xq, k)

print("Distances of the nearest neighbors (IVF):\n", D_ivf)
print("Indices of the nearest neighbors (IVF):\n", I_ivf)

# 在 HNSW 索引中执行搜索
index_hnsw.hnsw_efSearch = 32  # 增加搜索时的图搜索精度
D_hnsw, I_hnsw = index_hnsw.search(xq, k)

print("Distances of the nearest neighbors (HNSW):\n", D_hnsw)
print("Indices of the nearest neighbors (HNSW):\n", I_hnsw)

4. 保存和加载索引

你可以将索引保存到磁盘，并在之后加载它以节省时间。

4.1 保存索引到文件
faiss.write_index(index, "index_flat.index")
4.2 从文件加载索引
index_loaded = faiss.read_index("index_flat.index")
print("Loaded index has", index_loaded.ntotal, "vectors.")

5. 使用 GPU 加速（可选）

如果你有 GPU，Faiss 支持在 GPU 上加速向量搜索。首先，你需要安装 GPU 版本的 Faiss，然后将索引移动到 GPU：

import faiss
res = faiss.StandardGpuResources()  # GPU 资源管理
gpu_index = faiss.index_cpu_to_gpu(res, 0, index)  # 将索引移动到 GPU

# 搜索时使用 GPU 加速
D_gpu, I_gpu = gpu_index.search(xq, k)

总结

  • 创建索引：使用不同的索引类型（IndexFlatL2, IndexIVFFlat, IndexHNSWFlat 等）来创建 Faiss 索引。
  • 插入数据：使用 .add() 方法将向量插入到索引中。
  • 执行搜索：使用 .search() 方法进行最近邻搜索。
  • GPU 加速：如果需要更高的性能，可以使用 Faiss 的 GPU 版本来加速搜索。

如果你需要更多关于特定索引类型或高级功能的帮助，随时告诉我！

代码运行结果

import faiss
import numpy as np

# 创建一个随机的 10000 条 128 维向量
d = 128  # 向量维度
nb = 10000  # 向量数量
np.random.seed(1234)
xb = np.random.random((nb, d)).astype('float32')

# 创建一个 Faiss 索引
index = faiss.IndexFlatL2(d)  # 使用 L2 距离度量创建 Flat 索引

# 向索引中添加向量
index.add(xb)

print("Number of vectors in the index:", index.ntotal)


Number of vectors in the index: 10000

# 创建一个 IVF 索引（适用于更大规模数据集）
nlist = 100  # 索引分桶的数量
quantizer = faiss.IndexFlatL2(d)  # 使用 Flat 索引作为量化器
index_ivf = faiss.IndexIVFFlat(quantizer, d, nlist, faiss.METRIC_L2)

# 训练索引（需要一个大部分数据的子集来训练索引）
index_ivf.train(xb)

# 向索引中添加数据
index_ivf.add(xb)

print("Number of vectors in IVF index:", index_ivf.ntotal)


Number of vectors in IVF index: 10000

# 创建一个 HNSW 索引
index_hnsw = faiss.IndexHNSWFlat(d, 32)  # 32 是 HNSW 图的连接数

# 向索引中添加向量
index_hnsw.add(xb)

print("Number of vectors in HNSW index:", index_hnsw.ntotal)


Number of vectors in HNSW index: 10000

# 创建一个随机查询向量
xq = np.random.random((5, d)).astype('float32')  # 5 个查询向量

# 执行最近邻搜索，返回最相似的 5 个向量
k = 5  # 查找最相似的 5 个向量
D, I = index.search(xq, k)  # D 是距离，I 是索引

print("Distances of the nearest neighbors:\n", D)
print("Indices of the nearest neighbors:\n", I)


Distances of the nearest neighbors:
 [[14.120588 14.428287 14.519493 14.678541 14.977838]
 [14.769967 15.277808 15.82649  15.894089 16.032442]
 [14.996597 15.646382 15.67143  15.70339  16.03984 ]
 [13.788441 13.872476 14.54991  14.625786 14.823553]
 [13.655876 13.713434 13.981209 14.274239 14.780527]]
Indices of the nearest neighbors:
 [[7548 5874 4044 1573 2826]
 [8619 2762 2862  417 6717]
 [6059 5596 1617  106 7259]
 [7167 6353 8302 4062 1648]
 [5531 9262 2933 5512 7722]]

# 在 IVF 索引中执行搜索
index_ivf.nprobe = 10  # 搜索时考虑的桶的数量
D_ivf, I_ivf = index_ivf.search(xq, k)

print("Distances of the nearest neighbors (IVF):\n", D_ivf)
print("Indices of the nearest neighbors (IVF):\n", I_ivf)


Distances of the nearest neighbors (IVF):
 [[14.120588 14.519493 15.13227  15.136275 15.145167]
 [15.277808 15.82649  15.894089 16.032442 16.066723]
 [15.646382 16.70518  17.00241  17.005293 17.031368]
 [13.788441 14.54991  14.858726 15.078858 15.11237 ]
 [14.780527 15.026012 15.086645 15.142347 15.270004]]
Indices of the nearest neighbors (IVF):
 [[7548 4044 7775 4722 2860]
 [2762 2862  417 6717 9150]
 [5596  886 2020 6283 5516]
 [7167 8302 9207  656 5963]
 [7722 7668 8303 1648  557]]

# 在 HNSW 索引中执行搜索
index_hnsw.hnsw_efSearch = 32  # 增加搜索时的图搜索精度
D_hnsw, I_hnsw = index_hnsw.search(xq, k)

print("Distances of the nearest neighbors (HNSW):\n", D_hnsw)
print("Indices of the nearest neighbors (HNSW):\n", I_hnsw)


Distances of the nearest neighbors (HNSW):
 [[14.120588  14.9778385 15.132271  15.145167  15.160655 ]
 [15.277808  16.032898  16.158434  16.185116  16.32803  ]
 [14.996596  15.646384  15.67143   15.70339   16.03984  ]
 [13.788441  14.549911  14.858726  14.890352  15.112368 ]
 [13.655877  14.274239  14.780525  15.016905  15.026011 ]]
Indices of the nearest neighbors (HNSW):
 [[7548 2826 7775 2860 9951]
 [2762 6644 7958 5217 4221]
 [6059 5596 1617  106 7259]
 [7167 8302 9207 9815 5963]
 [5531 5512 7722 5746 7668]]

faiss.write_index(index, "index_flat.index")

index_loaded = faiss.read_index("index_flat.index")
print("Loaded index has", index_loaded.ntotal, "vectors.")

Loaded index has 10000 vectors.
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 29万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
使用docker搭建faiss向量数据库
NDF923的专栏
03-18 2000
主要是创建了一个基于centos7的镜像，然后按照miniconda、faiss-gpu 和 pandas，但是奇怪的是在这里不管是执行pip install 还是conda install，都执行不成功，但是把这个放到容器中执行就可以，咱也不知道为啥。-v：指定一个卷（volume），将宿主机的/home/ndf/faiss/data目录映射到容器的/app/data目录；创建一个名为faiss-gpu的镜像，版本为v1；--name：指定了一个名称为ndf-faiss的容器；1、创建文件夹faiss。
faiss教程【facebook官方文档】
ninnyyan的博客
08-07 9538
官方教程 开始 对于以下内容，我们假设已安装Faiss。 我们在C ++和Python中提供代码示例。 可以通过复制/粘贴代码或从Faiss发行版的tutorial /子目录运行代码来运行代码。 生成一些数据 Faiss处理固定维度d的向量集合，通常为几十到几百。 这些集合可以存储在矩阵中。 我们假设行主存储，例如，矢量编号i的第j个分量存储在矩阵的第i行，第j列中。 Faiss仅使用32位浮点矩...
Faiss中文教程
weixin_43993244的博客
11-16 4741
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 本文是根据Faiss发布的官方wiki，在学习过程中写的中文版记录。有表意不清晰的地方可查看英文原版[facebookresearch/faiss](https://github.com/facebookresearch/faiss/wiki/)，如有侵权，请联系作者删除。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例
Faiss教程：基础
weixin_33748818的博客
07-16 953
Faiss对一些基础算法提供了非常高效的实现：k-means、PCA、PQ编解码。 聚类 假设2维tensor x： ncentroids = 1024 niter = 20 verbose = True d = x.shape[1] kmeans = faiss.Kmeans(d, ncentroids, niter, verbose) kmeans.train(x) 中心点放在kmeans.c...
向量数据库Faiss的详细介绍和搭建使用教程
m0_50641264的博客
08-26 1513
向量数据库Faiss（Facebook AI Similarity Search）是由Facebook AI研究院（FAIR）开发的一种高效的相似性搜索和聚类库。Faiss能够快速处理大规模数据，支持在高维空间中进行相似性搜索。它通过将候选向量集封装成一个index数据库，加速检索相似向量的过程，尤其在一些最有用的算法上实现了GPU加速。
Faiss的基本使用
半夏微凉科技
05-20 779
Faiss 是一个用于高效相似性搜索和聚类的库，特别适用于大规模数据集。它提供了一系列的算法和数据结构，能够在高维度空间中快速搜索最相似的向量。下面是 Faiss 的基本使用指南：
faiss快速入门
dake1994的博客
11-20 6186
Tutorial 快速入门 数据准备 faiss可以处理固定维度d的向量集合，这样的集合这里用二维数组表示。 一般来说，我们需要两个数组： 1.data。包含被索引的所有向量元素； 2.query。索引向量，我们需要根据索引向量的值返回xb中的最近邻元素。 为了对比不同索引方式的差别，在下面的例子中我们统一使用完全相同的数据，即维数d为512，data包含2000个向量，每个向量符合正态分布。...
Faiss使用教程详解
weixin_42285429的博客
09-20 3853
详情将官方Github地址： https://github.com/facebookresearch/faiss/wiki/Faiss-indexes Faiss是一个速度很快的向量Top k的召回算法库，适用于不同的应用场景，由于Faiss有各种索引构建的方式，本文主要简单介绍倒排索引的增、删、改、查的功能，以及Faiss算法的准确性和检索速度进行了介绍。 ## 增加数据(注：插入相同id的数据，不是把之前的数据进行更新，而是又增加了一天相同id的数据) # -*- coding: utf-8
Faiss入门
illcx的博客
04-26 1077
Faiss 全称为 Facebook AI Similarity Search，是 Facebook AI Research 开源的高维向量索引和聚类库。Faiss 采用 C++ 编写，支持多种距离度量方式，并且具有高速度、高可扩展性和高准确度等特点。Faiss 的主要应用包括图像搜索、文本搜索、语音搜索等。本文介绍了 Faiss 的基本概念和使用方法，希望能够帮助读者快速入门 Faiss 并实现高维向量索引和聚类应用。
faiss教程
zh515858237的专栏
08-23 275
【代码】faiss教程。
DeepSeek智能搜索系统基础教程
03-04
本教程旨在深度介绍DeepSeek系统的搭建和使用方法。 在环境准备方面，用户需要安装Python3.8或更高版本，并推荐使用Anaconda进行环境管理。随后，用户需要安装一系列必要的Python库，包括但不限于numpy、pandas、...
Faiss入门心得---向量数据库Faiss的搭建与使用
cesske的博客
08-24 2329
向量数据库Faiss（Facebook AI Similarity Search）是由Facebook AI Research（FAIR）团队开发的一款用于快速、高效的向量数据库构建和相似性搜索的开源库。它特别适用于处理大规模向量数据集，能够迅速在海量向量中搜索与查询向量最为匹配的项，从而加速搜索流程。Faiss常用于推荐系统、图像搜索、自然语言处理等场景。
Faiss 教程：常用操作详解
风吹落叶的博客
12-19 936
Faiss 是 Facebook AI Research 开发的高效向量相似性搜索库，专注于快速地找到向量的近似最近邻（ANN）。它通过暴力枚举计算查询向量与索引中所有向量的距离，精度最高，但速度较慢。和 GPU 加速功能。掌握 Faiss 的核心操作后，可以用于多种场景，如推荐系统、图像检索和文本向量检索等。Faiss 提供了从简单暴力搜索到复杂高效索引的一整套工具，适用于各种规模的向量检索任务。基于内积的索引，通常用于向量已经归一化的情况（即所有向量的长度为 1），在这种情况下，内积等价于余弦相似度。
faiss的简单使用
juezhanangle的博客
03-10 3871
全称(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前较成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口。除此以外，对一些核心算法提供了GPU实现。
faiss使用实例，快速入门
weixin_44645198的博客
05-21 962
在这个示例中，我们首先生成了一些随机数据，然后创建了一个FAISS索引，并将数据添加到索引中。最后，我们打印了搜索结果，包括每个查询的最近邻的索引和距离。在FAISS中，"训练"通常是指为某些类型的索引（例如，量化索引）学习一组聚类中心。：最后，代码生成了一些新的随机查询向量，并使用加载的索引对这些查询进行了搜索。：这段代码首先生成了一些随机的浮点数向量，这些向量将被用于训练和添加到FAISS索引中。：然后，代码将索引从GPU转移到CPU，并将其保存到文件中，以便以后使用。类型，这是一种需要训练的索引。
faiss使用
qwexdl的博客
08-01 899
水文: 待完善 一、简介   faiss是用来做召回的, facebook出品, 内置HNSW{占用内存巨大}以及一些基于倒排索引和聚类的算法, 基于向量做的召回.   基于向量做召回的还有annoy.   更多参考: https://zhuanlan.zhihu.com/p/37381294 二、推荐博客 https://www.programmersought.com/article/68262337102/ https://zhuanlan.zhihu.com/p/357414033 这个文章
faiss 文本
最新发布
03-13
<think>好的，我现在需要回答用户关于FAISS在文本向量索引和检索的方法及示例的问题。首先，我需要回顾一下FAISS的基本知识，以及它如何与文本处理结合使用。 用户提到了几个引用，其中引用[2]提到使用FAISS和LlamaIndex进行向量检索，引用[3]和[4]则涉及Faiss的索引构建和文本向量化。我需要结合这些信息来组织回答。 首先，FAISS是Facebook开发的高效相似性搜索库，主要用于处理高维向量。在文本处理中，通常需要将文本转换为向量，比如通过词嵌入模型（如Word2Vec、BERT等）。因此，第一步应该是文本向量化，然后将这些向量存储在FAISS索引中以便快速检索。 接下来，用户可能需要具体的步骤和示例。根据引用[3]，Faiss的流程包括创建向量库、构建索引和检索TopK。因此，我应该分步骤解释这个过程，比如： 1. 文本向量化：使用模型将文本转换为向量。 2. 构建FAISS索引：选择合适的索引类型（如FlatL2、IVF等）。 3. 添加向量到索引。 4. 执行相似性搜索。 然后，引用[4]提到k-means聚类、PCA等方法，这些可能属于索引优化的部分，可以简要提及。同时，引用[2]中的LlamaIndex可能是一个辅助工具，用于管理索引，但用户的问题主要集中在FAISS本身，所以可能不需要深入讨论LlamaIndex，但可以提到。 示例代码部分，需要展示如何使用FAISS进行索引构建和搜索。例如，用Python代码演示安装、创建向量、构建索引、添加数据、搜索等步骤。需要确保代码正确，使用正确的语法，比如使用faiss.IndexFlatL2，并注意向量维度的匹配。 可能的问题点：用户可能不清楚如何将文本转换为向量，这部分需要说明，但示例中可以假设已经有向量化的步骤。此外，需要提到不同的索引类型及其适用场景，比如FlatL2适合小数据集，IVFFlat适合大数据集等。 最后，生成相关问题，考虑用户可能感兴趣的后续问题，如性能优化、参数调优、与其他工具的整合等。 总结回答结构： 1. FAISS在文本处理中的应用概述 2. 具体方法和步骤 3. 示例代码 4. 相关问题 需要确保遵循用户的格式要求，如使用中文、LaTeX正确、引用标注等。检查是否有遗漏的步骤，如向量化前的预处理，或索引的参数设置。</think>FAISS（Facebook AI Similarity Search）是面向高维向量的高效相似性搜索库，在文本处理中常与词嵌入模型结合实现语义检索。以下是具体方法及示例： --- ### 一、FAISS文本向量索引方法 1. **文本向量化** 使用预训练模型（如BERT、Sentence-BERT）将文本转化为固定维度的向量。例如，句子"机器学习"可转为$v \in \mathbb{R}^{768}$的向量。 2. **索引构建** FAISS支持多种索引类型： - **FlatL2**：精确检索，适合小规模数据[^3] ```python index = faiss.IndexFlatL2(dimension) # dimension为向量维度 ``` - **IVFFlat**：通过聚类加速检索，适合大规模数据[^4] ```python quantizer = faiss.IndexFlatL2(dimension) index = faiss.IndexIVFFlat(quantizer, dimension, nlist) # nlist为聚类中心数 index.train(vectors) # 需先训练聚类模型 ``` 3. **向量添加与检索** 将向量添加至索引后，通过相似度计算返回TopK结果： ```python index.add(vectors) # 添加向量 distances, indices = index.search(query_vector, k) # 检索最相似的k个向量 ``` --- ### 二、完整示例代码 ```python import faiss import numpy as np # 1. 模拟文本向量（假设维度为128） dimension = 128 text_vectors = np.random.rand(1000, 128).astype('float32') # 1000个文本向量 # 2. 构建IVFFlat索引 nlist = 100 # 聚类中心数 quantizer = faiss.IndexFlatL2(dimension) index = faiss.IndexIVFFlat(quantizer, dimension, nlist) index.train(text_vectors) # 训练聚类模型 index.add(text_vectors) # 添加向量 # 3. 执行检索 query_vector = np.random.rand(1, 128).astype('float32') k = 5 distances, indices = index.search(query_vector, k) print("最相似文本索引:", indices) ``` --- ### 三、优化与应用场景 - **优化方法**：使用PCA降维减少计算量，或采用PQ（Product Quantization）压缩向量[^3] - **应用场景**： - 大规模文档检索（如法律条文匹配） - 问答系统中相似问题推荐[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值