whenever5225的博客

个人主页简介论文题目：GraSP: Optimizing Graph-based Nearest Neighbor Search with Subgraph Sampling and Pruning，2022年发表在WSDM会议上。论文根据查询的分布学习裁边（learn to prune）。主要内容论文指出基于近邻图的ANNS算法构建面临一个问题是：通过一些启发式规则开发不同的图索引结构，并没有直接从在线搜索效率的角度直接优化图索引，这使得它们在一些数据集上表现较好，在另一些数据集上表现较差。本文

个人主页简介论文题目：Revisiting the inverted indices for billion-scale approximate nearest neighbors，2018年发表在ECCV会议上。论文在分析inverted index在大规模数据上的优势（vs. IMI）并借助proximity graph （HNSW）缓解其不足，在billion-scale数据上实现更优ANNS。主要内容提出grouping和pruning策略优化inverted index，提升压缩精度和查询

个人主页简介论文题目：HM-ANN: Efficient Billion-Point Nearest Neighbor Search on Heterogeneous Memory，2020年发表在NeurIPS会议上。论文在异构内存（HM）上优化实施基于近邻图的ANNS算法实现高效单机亿级搜索。主要内容论文指出当前大规模ANNS受到内存限制，一些压缩方案损失了精度。本文主要利用数据和内存（HM）的异质性，不压缩数据，实现了单节点亿级ANNS。主要是借助新型硬件HM，它包含快内存（fast mem

论文信息题目：DiskANN: Fast Accurate Billion-point Nearest Neighbor Search on a Single Node作者：Suhas Jayaram Subramanya, Devvrit, Rohan Kadekodi, Ravishankar Krishaswamy, Harsha Vardhan Simhadri; 发表于NeurIPS 2019前言一些优秀的中文解读：（1）https://www.jianshu.com/p/07ed2202

文章总结视觉时装搜索时能够操纵属性是一个有意义的场景。文章的背景主要是应用导向的。面向的场景是，用户在搜索一个商品时，给出一张照片和一些文本描述，并通过文本描述修改照片的某些内容。本文的解决思路是将图像和文本嵌入到一个公共空间，通过查询给出的图像嵌入和文本嵌入之间的算术运算构建该空间中的一个新向量（对应用户的目标），用该新向量通过相似度计算检索用户的目标。下图清楚展示了这一过程。研究内容概述一个令人惊奇的神器：向量的算术性质“Paris” - “France” +“Italy” = “Rome

论文概述相似性搜索是计算机视觉的一个基础模块。早期，一个图像将会对应几千个向量，因此，使用compact representation非常重要。最近，一个图像对应一个向量（通常从卷积神经网络的激活层提取）。本文大致思路：（1）通过OPQ 压缩原始向量；（2）根据邻居执行量化回归不断优化量化码。通过交替优化学习一个回归码本（该码本即为通过离一个点的最近的几个点重构该点时的权重系数或回归系数或重构系数）以最小化重构误差。贡献：近似一个点时，粗质心比最近邻效果更好。向量能被它的少量邻居的线性组合（带有固

论文信息题目: Understanding and Generalizing Monotonic Proximity Graphs for Approximate Nearest Neighbor Search作者: Dantong Zhu, Minjia Zhang; 于2021年7月27发表在arXiv上。背景理论分析基于图的ANNS算法。为什么基于MRNG构建的近邻图算法普遍具有更好的搜索性能？冲突结点，conflicting nodes (提升搜索性能，非常重要的一个概念！).理论模型

中文简介地址：高维数据检索：基于近邻图的近似最近邻搜索算法实验综述全文arXiv地址：A Comprehensive Survey and Experimental Comparison of Graph-Based Approximate Nearest Neighbor Search论文Researchgate地址：A Comprehensive Survey and Experimental Comparison of Graph-Based Approximate Nearest Neighbo

概览本文是参考文献[1]的简介，这篇论文是一篇tutorial（ICDE2021），主要介绍一些高维相似性搜索的数据科学应用，调查了最近的一些方法，讨论了AI驱动的、渐进式的以及分布式的相似性搜索。应用自动实体解析、数据发现、电力需求分析、推荐系统、聚类、划分、异常检测、生物信息、计算机视觉、安防、金融、药物等。（注：各应用相关文献可参考论文原文，参考文献[1]）洞察渐进搜索（progressive search）这个概念我还是第一次看到，不过渐进搜索所表达的思想在之前的一些文献中已有体现。通俗

引言最近，基于近邻图的近似最近邻搜索算法（ANNS）取得了最优的效率和精度权衡。在图索引上，路径的单调性对相关ANNS算法的搜索性能起着至关重要的影响。几种当前最优的ANNS算法比如HNSW，NSG普遍能使搜索路径尽可能的单调递减，从而避免由于“绕远路”而降低搜索效率。本文介绍的几种proximity graphs是这些ANNS算法的基础，与当前的实用算法相比，这些proximity graphs有着严格的形式化定义，这给理论分析相关性质带来便利，从而也给实用的ANNS算法提供理论保证和优化方向。接下来，

依赖安装安装gcc之前一定要先把一些依赖安装好，这里需要先安装gmp，mpfr，mpc三个依赖，如果是离线安装的话，需要在可以联网的地方先下载好（下载地址），编译安装过程可以参考这里（注意：这三个依赖之间也存在依赖关系，安装顺序不能错）。新版本的gcc需要用到isl工具，否则编译项目时可能会报出找不到libisl.so.15错误。离线安装的话，下载地址，可参考这里安装。安装gcc根据自己需要安装的版本下载gcc，具体下载安装过程可参考这里，需要注意的是，在配置的时候根据自己的需要配置，比如，自己的项

论文题目Multiattribute Approximate Nearest Neighbor Search Based on Navigable Small World Graph相关信息作者与单位Xiaoliang Xu | Chang Li | Yuxiang Wang | Yixing Xia; Hangzhou Dianzi University出处与时间Concurrency and Computation: Practice and Experience; 2020作者拟解决的主

SSH key若还未生成，可按此方式生成（参考：入口）。我之前已经生成过，mac可通过下面的命令查找。open ~/.ssh公钥传到服务器ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote-host再次登录服务器如果显示让输入passphrase for key，相当于还是要输入一次密码。Enter passphrase for key '/xxx/xxx/.ssh/id_rsa':解决方案，输入下面命令，成功解决问题。ssh-add -K /x

博客地址：mzwang.top论文题目Fast approximate similarity search based on degree-reduced neighborhood graphs相关信息作者与单位Kazuo AoyamaNTT Communication Science Laboratories, NTT Corporation 2-4, Hikaridai, Seika-cho,Soraku-gun, Kyoto, 619-0237, Japanaoyama.kazuo@l

博客地址：mzwang.top论文题目Query-Driven Iterated Neighborhood Graph Search for Large Scale Indexing相关信息作者与单位Jingdong Wang; Shipeng LiMicrosoft Research Asia, Beijing, P. R. China {jingdw, spli}@microsoft.com出处与时间ACM International Conference on Multimedia (

论文题目Large-scale visual search with binary distributed graph at Alibaba相关信息作者与单位Kang Zhao, Pan Pan, Yun Zheng, Yanhao Zhang, Changxu Wang, Yingya Zhang, Yinghui Xu, Rong JinMachine Intelligence Technology Lab, Alibaba Group{zhaokang.zk

编程团体赛题目描述：编程团体赛的规则为：每个参赛队由若干队员组成；所有队员独立比赛；参赛队的成绩为所有队员的成绩和；成绩最高的队获胜。现给定所有队员的比赛成绩，请你编写程序找出冠军队。输入格式：输入第一行给出一个正整数 N（≤10410^...

博客地址： https://mzwang.top/论文题目DiskANN: Fast Accurate Billion-point Nearest Neighbor Search on a Single Node相关信息作者与单位Suhas Jayaram Subramanya(suhas@cmu.edu); Carnegie Mellon University;Devvrit(devvrit.03@gmail.com); University of Texas at Austin;Rohan

博客地址： https://mzwang.top/论文题目Approximate Nearest Neighbor Search on High Dimensional Data — Experiments, Analyses, and Improvement相关信息作者与单位Wen Li(Wen.Li@uts.edu.au); Nanjing Audit University; University of Technology Sydney;Ying Zhang(Ying.Zhang@uts.

为什么启发式选边？HNSW是增量式构建的，构图时它的启发式的选边策略不仅考虑了相似度问题也考虑了数据的分布问题。因为HNSW是站在近似最近邻搜索的角度去考虑的，而不是站在构建一个尽可能精确的近邻图的角度考虑问题，这可以说是HNSW选用启发式选边的intuition。一个精确的近邻图不一定是最适合近似最近邻搜索的。既考虑相似度问题又考虑数据分布情况的选边策略有很多，这里选用启发式选边有何优势？请看它具体是怎样操作的。怎样启发式选边？ 图1 HNSW启发式选边示意图1中绿