faiss技术分享

Faiss 介绍

•Faiss由Facebook AI Research开发；

•用于高效相似性搜索和密集矢量聚类的库；

•包含可搜索任意大小的向量集的多种算法；

•Faiss用C ++编写，带有完整的Python包装；

•通过CUDA提供单GPU和多GPU支持；

相似性搜索

•基于十亿级别的高维向量数据集，构建最近邻搜索算法实现；

•不仅返回最近的，还返回第2个，第3个，...，第k个最近的邻居；

•支持一次搜索多个向量（批量搜索），而不仅一次搜索一个向量；

•允许一定错误的基础上，提供时间换空间，或空间换时间搜索；

组件安装
•gfortran：yum install gcc-gfortran，下载并安装；gfortran --version查看版本；
•OpenBLAS（基础线性代数子程序库），https://github.com/xianyi/OpenBLAS，so库复制到系统路径下；
•faiss，git clone https://github.com/facebookresearch/faiss.git，执行./configure --without-cuda，make，复制so及h文件；

IndexFlatL2（精确索引）
精确索引通过遍历计算来查询向量与被查询向量的L2精确距离，在构建索引时需提供向量维数作为参数（不需要训练操作），构建完成后可以通过add添加数据和search查询数据；

IndexIVFFlat（倒排索引）
•倒排索引需要对数据做预处理来提高索引效率，将数据库向量通过聚类方法分割成若干类，查询时选择距离最近的类中心，在类中采用精确方法查询，通过增加相邻类查询来提高精确度；
•nlist参数控制将数据集向量聚类的总数，nprobe参数控制在多少个类范围内进行查询，伴随nprobe参数值增加，精度值增加，同时时间开销增加，当nprobe=nlist时，与IndexFlatL2索引等效；

IndexIVFPQ（乘积量化索引）
•当数据量非常大超出内存限制时，采用乘积量化方法保存原始向量的有损压缩形式，创建索引的时候需要指定量化器的个数与每个量化器编码字节长度；
•在查询阶段返回的结果是近似值，实验显示，乘积量化后查询返回的距离值与真实值相比偏小，此外，索引的初始化过程的耗时也比较久一些；

faiss/tutorial/python/1-Flat.py

索引创建

索引查询

官方性能

•Deep1B 数据集上测试，30%的1-recall@1，在每向量0.5ms左右的时间，40%的1-recall@1，少于每向量2ms的检索时间，以2ms的检索时间计算，单核可达到500 QPS；
•与业内最先进的研究相比，Babenko 和 Lempitsky 在 CVPR 2016 上发表的论文：“Efficient Indexing of Billion-Scale Datasets of Deep Deors”显示需要 20 ms 来获取 45% 的 1-recall@1；
•单个 GPU 的速度一般比 CPU 快五到十倍，新的帕斯卡架构 GPU 硬件，比如英伟达 P100，快 20 倍有余；

Faiss serving<Faiss扩展>
•服务端采用C++语言开发，采用libevent构建基础服务，支持tcp和http两种请求方式；
•向量模型文件保存在conf路径下，文章id加类型作为主键，200维浮点型坐标作为值；
•log4cpp日志配置保存在conf路径下，定义了过程详情和流程耗时两类日志，按天滚动；
•向量模型在服务启动的时候初始化加载，暂不支持动态更新热加载（2020年1月）；
•支持三种模型类型：精确索引、倒排索引和乘积量化索引，在服务启动时由参数指定；
•数据传输采用protobuf组件序列化和反序列化，在MyFaiss.proto文件中定义；

请求协议<Faiss扩展>

应答协议<Faiss扩展>

启动参数<Faiss扩展>
•-l or --log：日志配置文件路径；
•-m or --model：模型文件存储路径
•-f or --faiss：索引类型设置
•-p or --port：主服务监听端口
•-s or --server：主服务协议类型
•-v or --version：当前服务版本
•-h or --help：打印帮助信息

流程日志<Faiss扩展>