一些faiss中文文档

最新推荐文章于 2023-08-03 09:30:06 发布
最新推荐文章于 2023-08-03 09:30:06 发布
阅读量4.2k 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dake1994/article/details/83416812
版权

faiss是facebook开源的一款相似性检索工具，相关教程较少，以下内容来源于github wiki。

链接：faiss_note

single-coder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Faiss的基本使用
Qpeterqiufengyi的博客
05-16 51
Faiss的基本使用
Faiss中文教程
weixin_43993244的博客
11-16 4037
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 本文是根据Faiss发布的官方wiki，在学习过程中写的中文版记录。有表意不清晰的地方可查看英文原版[facebookresearch/faiss](https://github.com/facebookresearch/faiss/wiki/)，如有侵权，请联系作者删除。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例
faiss教程【facebook官方文档】
ninnyyan的博客
08-07 8668
官方教程 开始 对于以下内容，我们假设已安装Faiss。 我们在C ++和Python中提供代码示例。 可以通过复制/粘贴代码或从Faiss发行版的tutorial /子目录运行代码来运行代码。 生成一些数据 Faiss处理固定维度d的向量集合，通常为几十到几百。 这些集合可以存储在矩阵中。 我们假设行主存储，例如，矢量编号i的第j个分量存储在矩阵的第i行，第j列中。 Faiss仅使用32位浮点矩...
Faiss入门
illcx的博客
04-26 915
Faiss 全称为 Facebook AI Similarity Search，是 Facebook AI Research 开源的高维向量索引和聚类库。Faiss 采用 C++ 编写，支持多种距离度量方式，并且具有高速度、高可扩展性和高准确度等特点。Faiss 的主要应用包括图像搜索、文本搜索、语音搜索等。本文介绍了 Faiss 的基本概念和使用方法，希望能够帮助读者快速入门 Faiss 并实现高维向量索引和聚类应用。
FAISS
mao_feng的博客
04-01 4701
多线程以充分利用多核性能并在多路 GPU 上进行并行搜索
Faiss学习笔记
Life is short, not float
07-16 278
faiss是一个向量检索库。它的GitHub上描述是这样的支持向量相似度检索支持向量聚类支持GPU使用C++编写，支持Python接口本质上是解决基于向量相似度的knn问题MarkdownText-to-HTMLAuthorsJohnLuke。
人工智能-项目实践-数据增强-利用faiss索引、chinese simbert向量化的最近邻的中文label数据增强.zip
最新发布
12-28
人工智能-项目实践-数据增强-利用faiss索引、chinese simbert向量化的最近邻的中文label数据增强 依赖 python 3.7 bert4keras 0.11.3 faiss-gpu 1.7.2 yaml 6.0 conda install mkl-service # mkl只能这样索引 原理 ...
faiss搜索代码
09-26
"faiss搜索代码"这个项目就是针对这一需求，采用Facebook AI的Faiss库来替换原有的Redis搜索，以实现更高效的相似图像检索。Faiss是一个专门用于相似性搜索的库，尤其适合在大规模高维数据上进行近似最近邻(ANN)搜索...
人工智能-项目实践-faiss-一个基于 faiss 的检索服务.zip
12-23
人工智能-项目实践-faiss-一个基于 faiss 的检索服 基于faiss的检索服务 基于faiss的检索服务 1 概述 2 使用 2.1 安装依赖 2.2 编译运行 2.3 版本发布 3 文档 3.1 项目文档 4 依赖项目 1 概述 一个基于 faiss 的...
facebook Faiss
12-27
这是facebook jegou等几位大神联合推出的量化编码库，用于快速检索。
faiss_install.zip
08-06
Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。这里将其移植到Hisi3559a芯片上。采用aarch64-linux-gnu-gcc...
Facebook AI实验室开源的相似性搜索库Faiss.zip
07-19
在用户日常搜索过程中，一个经常出现的问题即大多数返回的网站结果拥有完全相同或者几乎一样的信息。而应用了相似性搜索的相似引擎即可为用户返回最恰当、最合适的结果，同时隐藏或者丢弃那些重复的数据。但是，目前相似性搜索领域需要克服的难题即它的规模和运行速度。据报道，Facebook的人工智能研究团队就称已在该问题上取得了重要进展。Facebook在新发布的论文《Billion-scale similarity search with GPUs》中表示，可在GPU 上实现十亿规模级的相似性搜索，并且已开源该方法。在处理图像或视频等复杂数据时会涉及专用数据库系统，而相似性搜索（similarity search）则可以在专用数据库系统中找寻应用。但问题是，这些复杂数据通常用高维特征表示，而且需要特定的索引结构。因此，Facebook的研究人员就通过更好地利用 GPU的优势解决了这个问题 。尽管 GPU 擅长数据并行任务，但之前的方法要么会在并行性不高的算法（如 k-min selection）上遭遇瓶颈，要么不能有效利用内存的层次结构。为此雷锋网了解到，他们提出一种可用于k-selection的新设计，使其能以高达性能理论峰值55% 的速度进行运算，并实现了比之前最佳的 GPU 方法快 8.5 倍的最近邻搜索。他们为以积量化（product quantization）为基础的暴力计算、近似和压缩域搜索提出优化设计，从而将其应用到不同的相似性搜索场景中。在所有这些场景中，该方法比之前的方法的最佳表现还要好，它可在 35 分钟内从 Yfcc100M 数据集的 9500 万张图像上构建一个高准确度的 k-NN 图，也可以在 12 个小时内在 4 个 Maxwell Titan X GPU 上构建一个连接了 10 亿个向量的图。现在Facebook已将该方法（Faiss）开源，使大家能进行比较和重复利用。概括的说，该论文的主要突破有：给出一个可在GPU上运行的k-selection算法。它可在快速寄存奇储器中运行，并且其灵活性能使它能与其他内核一起使用。对此我们给出了复杂性分析；在GPU上实现的为精确和近似的k最近邻搜索的近最优算法布局;通过一系列实验表明，在单一或多GPU配置中运行的中到大规模的最近邻搜索任务上，我们的方法大幅度优于先前技术。图片选自论文（图片6）：从 Yfcc100M 数据集的 9500 万张图像上构建的高准确度 k-NN 图。第一张和最后一张图片为给定图片，算法通过计算得出两张图片之间最“和谐”的演变路径。开源库Faiss简介Faiss 是用于有效的相似性搜索（similarity search）和稠密矢量聚类（clustering of dense vectors）的库。它包含了可在任何大小向量集合里进行搜索的算法，向量集合的大小甚至可达到RAM容纳不下的地步。另外，它还包含了用于评估和参数调优的支持代码。Faiss 用 C 编写，有 Python / numpy 的完整包装。其中最有用的一些算法则在 GPU 上实现。Faiss 包含几种相似性搜索的方法。它假定示例可以被表示为向量，并可以通过整数识别。除此之外，这些向量可以与 L2 位距或点积进行比较。与一个查询向量（query vector）相似的向量是具有最低 L2 位距或最高点积的查询向量。Faiss 还支持余弦相似性（cosine similarity），因为它属于标准化向量上的点积。大多数方法，例如基于二元向量和紧凑量化代码的方法，仅使用向量的压缩表征，并不需要保留原始向量。这通常会降低搜索的准确性，但这些方法可在单个服务器上的主存储器中扩展到数十亿个向量。该 GPU 实现可接受来自 CPU 或 GPU 内存的输入。在一个带有 GPU 的服务器上，其 GPU 索引可以被用作其 CPU 索引的插入替换（比如用 GpuIndexFlatL2 替代 IndexFlatL2），而且来自或发往 GPU 内存的副本可以被自动处理。Faiss的构建该库基本上通过 C 实现。它带有可选择的 GPU （该GPU通过CUDA支持）以及一个可选的 Python 接口。编译采用的是Makefile。详细信息可参见INSTALL：https://github.com/facebookresearch/faiss/blob/master/INSTALLFaiss的工作原理Faiss 是围绕存储一个向量集的索引类型（index type）构建的，并且索引类型提供了一个利用 L2 和/或点积向量比较的函数，以使该函数能够在向量集中进行搜索。有些索引类型是简单的基线，如精确搜索。大多数可用的索引结构都对应以下几点权衡：搜索时间搜索质量每个索引向量使用的内存大小训练
PyPI 官网下载 | faiss_cpu-1.7.1.post2-cp38-cp38-win_amd64.whl
01-05
资源来自pypi官网。 资源全名：faiss_cpu-1.7.1.post2-cp38-cp38-win_amd64.whl
PyPI 官网下载 | faiss_cpu-1.6.5-cp38-cp38-manylinux2014_x86_64.whl
01-05
资源来自pypi官网。 资源全名：faiss_cpu-1.6.5-cp38-cp38-manylinux2014_x86_64.whl
基于text2vec和faiss开发实现文档查询系统初体验
Together_CZ的博客
08-02 1141
基于text2vec和faiss开发实现文档查询系统
【推荐系统】faiss技术（1）
littlemichelle
09-26 1297
背景 目前有项目会涉及到向量的存储和计算，对于机器学习领域来说，大部分经过训练后的模型都是以特征向量的方式呈现的，所以特征向量的存储和搜索也就是必要的了。 先贴上官网的入门教程：https://github.com/facebookresearch/faiss/wiki/Getting-started 就算是看官方的例子，对于菜鸟本鸟我来说，也是很难理解的。 官方例子 暴力搜索 IndexFlatL2 1、构建待检索向量和查询向量 import faiss import numpy as n
faiss简介及示例
热门推荐
JC的博客
06-22 5万+
简介 faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。 具有以下特性。 1、提供多种检索方法 2、速度快 3、可存在内存和磁盘中 4、C++实现，提供Python封装调用。 5、大部分算法支持GPU实现 下面给出一些快速链接方便查找更多内容。 github 官方文档 c++类信息 Troubleshooting 官方安装文档...
大规模向量检索库Faiss学习总结记录
Together_CZ的博客
08-03 2152
大规模向量检索库Faiss学习总结记录
BERT结合Faiss实现问答检索(少于50行代码)
xhsun的博客
09-16 1673
本文主要介绍一个框架nlp-basictasks nlp-basictasks是利用PyTorch深度学习框架所构建一个简单的库，旨在快速搭建模型完成一些基础的NLP任务，如分类、匹配、序列标注、语义相似度计算等。 下面利用该框架实现问答检索 所谓检索，就是将本地所有待检索的每一个句子编码成一个向量，将这些向量存储起来，称之为索引index。然后针对用户的问题query，将其编码为一个对应的向量query_vector，计算query_vector和索引中每一个vector的相似度，得到相似度最高的几个ve
faiss 中文语义搜索 python
10-31
faiss是一个用于高效相似性搜索和聚类的库，它是由Facebook AI研究院开发的。它提供了一种快速的索引技术，可以在大规模数据集上进行快速的相似性搜索。在中文语义搜索方面，我们可以通过以下步骤在Python中使用faiss进行中文语义搜索： 1. 准备数据： 首先，我们需要准备中文文本数据。这些数据可以是一系列的中文句子、段落或文档。可以从文件中读取数据，也可以从数据库或API获取。 2. 中文文本处理： 在将中文文本传递给faiss之前，我们需要进行文本处理。这包括分词、去除停用词、词干提取等。常用的中文分词工具有jieba、pkuseg等。你可以选择适合你项目需求的分词工具，并根据自己的需求进行预处理。 3. 特征提取： 接下来，我们需要将文本转化成特征向量。在中文语义搜索中，常用的方法是使用词嵌入技术，如Word2Vec、FastText、BERT等。这些词嵌入模型可以将文本转化为稠密向量表示，捕捉到词语之间的语义关系。 4. 索引构建： 使用faiss中提供的索引方法（如Flat、IVF等），将特征向量构建成索引结构。这样可以加速相似性搜索过程。 5. 相似性搜索： 一旦索引构建完成，我们可以使用faiss提供的查询方法在中文语义空间中进行搜索。我们可以将查询文本的特征向量传递给faiss，它将返回与查询文本最相似的文本。 总之，faiss在中文语义搜索中提供了一种高效的解决方案。通过合理的数据准备、文本处理、特征提取和索引构建，我们可以利用faiss快速找到与查询文本相关的中文文本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值