ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法(1)

于 2024-06-21 00:41:27 发布
阅读量639 收藏 18
点赞数 27
分类专栏： 资料作者\/ 是vip204888 文章标签： elasticsearch 学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76379606/article/details/139845623
版权

前言

往期博客ElasticSearch学习篇9_文本相似度计算方法现状以及基于改进的 Jaccard 算法代码实现与效果测评_elasticsearch 文字相似度实现方法-CSDN博客 根据论文对文本相似搜索现状做了一个简要总结，然后对论文提到的改进杰卡德算法做了实现，并结合业务场景测评，另外对其他两种改进杰卡德算法做了测评总结适用的业务场景。

面对多维数据，空间紧邻搜索被应用在多种场景的检索需求，如人脸识别、图片搜索、商品的推荐搜索等。如何高效的从海量数据中紧邻搜索热点数据是某些搜索业务场景所要求的，下面是学术界常用的用在空间紧邻搜索的四种算法思想，在此基础上也衍生的很多工业界针对不同业务场景的开源检索算法入ANNOY、faiss、QSG-NGT等

image.png

而Lucene和ES使用的多维数据紧邻搜索是改进的BKD以及HNSW，Lucene从6.0版本引入了BKD，关于BKD原理参考往期博客，该BKD结构就是基于空间分割算法。Elasticsearch从8.0版本开始引入了向量近邻检索k-nearest neighbor（kNN）search功能，该功能支持使用HNSW（Hierarchical Navigable Small World）算法来优化向量检索的性能。下面主要了解相关算法以及学习基于图的NSW、HNSW算法。

目录

一、ANNS

1、ANNS概述

ANNS（Approximate Nearest Neighbor Search）翻译为近似最近搜索。是指在大型数据集中找到给定查询点的最近邻点。ANNS 旨在最小化计算成本并同时高效找到近似最近邻。
ANNS和ANN（Artificial Neural Network）和KNN（K-Nearest Neighbors）是三种不同的概念，它们在目的、原理和应用场景上有所区别：

  1. ANNS（Approximate Nearest Neighbor Search）:
    • 目的：ANNS旨在高维空间中快速找到与查询点近似最近的邻居，牺牲一定的精确度以换取搜索速度的提升。
    • 原理：通过构建特定的数据结构（如基于空间划分的KD-Tree、局部敏感哈希LSH等）或使用特定的算法逻辑来减少在高维空间中搜索最近邻所需的计算量。
    • 应用场景：广泛应用于推荐系统、图像检索、模式识别等领域，特别是在处理大规模高维数据时。
  2. ANN（Artificial Neural Network）:
    • 目的：ANN是一种模仿生物神经网络行为的计算模型，用于识别数据中的复杂模式和关系，进行分类、回归等任务。
    • 原理：由多层神经元组成，通过前向传播和反向传播算法，调整神经元之间的连接权重，以学习输入与输出之间的映射关系。
    • 应用场景：广泛应用于图像识别、语音识别、自然语言处理等领域。
  3. KNN（K-Nearest Neighbors）:
    • 目的：KNN是一种基于实例的学习方法，用于分类或回归任务，通过查找最近的K个邻居来预测新样本的类别或值。
    • 原理：不需要显式的训练过程，而是直接根据距离度量（如欧氏距离）在训练数据集中找到与新样本最近的K个样本，然后根据这些邻居的信息进行预测。
    • 应用场景：适用于小到中等规模的数据集，常用于分类问题、推荐系统等。

总结：

  • ANNS关注于高维空间中的近似最近邻搜索，主要解决搜索效率问题。
  • ANN是一种模拟人脑神经网络的计算模型，用于学习数据的复杂模式。
  • KNN是一种简单直接的基于距离的分类或回归方法，侧重于通过最近的邻居进行预测。

2、常见的ANNS算法以及原理简单概述

大概可以分为四大类

  • 基于空间分割算法：思想参考BSP，常见的结构比如KD-Tree以及BKD、BBF等优化结构算法，主要思路就是构建多维数据索引树，BKD则是基于KD-Tree、B-Tree考虑到磁盘存储利用率、更新破坏结构而提出的一种动态磁盘树结构，BBF则是利用优先队列减少KD-Tree回溯判断次数，提升检索效率。还有其他的一些结构如R-Tree、四叉树等实现KNN，都是基于这个思路。
  • 基于哈希的算法：Locality-Sensitive Hashing 高维空间的两点若距离很近，他们哈希值有很大概率是一样的；若两点之间的距离较远，他们哈希值相同的概率会很小 。一般是根据具体的场景需求选取哈希函数，这种算法因为损失了大量数据，精度可能不是那么好，但是效率比较高。
  • 基于量化的算法：基本思路就是向量维度分治，牺牲部分精度，提高效率。把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化（quantization），这样每个向量就能由多个低维空间的量化code组合表示 。比如PQ（Product Quantization，乘积量化）是一种常用的近似最近邻搜索算法。还有一些优化算法如IVFPQ，基于倒排的乘积量化算法，增加粗量化阶段，对样本进行聚类，划分为较小的region ，减少候选集数据量（之前是需要遍历全量的样本，时间复杂度为O(N*M)）。
  • 基于图的算法：基本思路就是基于图的紧邻查找，比如NSW、HNSW算法

还有一些商业开源ANNS比如Spotify 的 ANNOY、Google 的 ScaNN、Facebook的Faiss等，性能基准参考ann-benchmarks：https://github.com/erikbern/ann-benchmarks#evaluated ，使用的算法不同，应对的业务检索场景不同，测试数据集不同，算法的表现性能就可能不同，因此性能好只是相对的。

摘自论文-基于图的近似最近邻搜索的综合综述和实验比较
观察各种数据集上的评估结果（详细信息参见§5），我们发现许多算法在不同数据集上的性能存在显着差异。也就是说，算法在某些数据集上的优势可能很难扩展到其他数据集上。例如，当搜索精度达到 0.99 时，对于 Msong [2] 上的每个查询，NSG 的加速比 HNSW 高 125 倍。然而，在 Crawl [3] 上，当 NSG 达到相同的搜索精度 0.99 时，其加速比 HNSW 低 80 倍。这表明算法的优越性取决于数据集，而不是固定于其性能。通过评估和分析不同场景的数据集，可以更好地理解基于图的ANNS算法在不同场景下的性能差异，为不同领域的从业者选择最合适的算法提供依据。

1、ANNOY (Approximate Nearest Neighbors Oh Yeah) 特点: ANNOY使用了基于树的算法来构建索引，通过构建多棵树并在这些树上进行搜索来实现快速的近似最近邻查找。ANNOY特别适用于在内存中进行大规模搜索，因为它的数据结构可以高效地加载和查询。应用场景: 音乐推荐、图像搜索等。这个有点类似BKD，创建多颗二叉树以及使用优先队列，但是还是不太一样。它的原理基于两个关键思想：随机投影和候选筛选。

  • 首先，ANNOY使用随机投影来降低向量的维度。它将高维向量映射到低维空间，以减少计算和存储的开销。随机投影是一种快速的降维方法，它通过随机选择一组投影向量来将原始向量映射到低维空间。通过降低维度，ANNOY能够在保持搜索质量的同时，显著减少计算和存储的成本。
  • 其次，ANNOY使用候选筛选来加速搜索过程。在搜索时，ANNOY首先使用随机投影将查询向量映射到低维空间。然后，它使用一种快速的候选筛选方法，如局部敏感哈希（Locality Sensitive Hashing）或随机k-d树（Random k-d Tree），来找到一组候选近邻。最后，ANNOY对候选集进行精确的距离计算，以找到最近的邻居。

2、ScaNN (Scalable Nearest Neighbors) 开发者: Google 特点: ScaNN是一种用于向量相似性搜索的库，它通过优化量化和树搜索的结合来提高搜索效率和准确性。ScaNN旨在提供高效的搜索能力，特别是在处理超大规模数据集时。应用场景: 大规模图像检索、文本相似性搜索等。ScaNN（Scalable Nearest Neighbors）是一种用于高效近邻搜索的算法。它的原理基于两个关键思想：分层索引和候选筛选。

  • 首先，ScaNN使用分层索引来组织数据。它将数据集划分为多个层级，每个层级都有一个索引结构。这些索引结构可以是传统的索引方法，如KD-Tree或LSH（Locality Sensitive Hashing），也可以是近似索引方法，如HNSW（Hierarchical Navigable Small World）。通过使用分层索引，ScaNN可以将搜索空间分解为多个子空间，从而减少搜索的复杂度。
  • 其次，ScaNN使用候选筛选来加速搜索过程。在搜索时，ScaNN首先使用索引结构找到一组候选近邻。然后，它使用一种快速的候选筛选方法，如乘积量化（Product Quantization）或局部敏感哈希（Locality Sensitive Hashing），来进一步缩小候选集。最后，ScaNN对缩小后的候选集进行精确的距离计算，以找到最近的邻居。

3、Faiss (Facebook AI Similarity Search) 开发者: Facebook 特点: Faiss是一个高效的相似性搜索库，专注于密集向量的快速检索和聚类。Faiss使用了先进的向量量化技术，能够支持在大规模数据集上进行高效的相似性搜索。 应用场景: 图像检索、聚类分析、大规模机器学习等。Faiss的原理基于两个关键思想：索引结构和量化编码。

  • 首先，Faiss使用索引结构来组织向量数据。它支持多种索引结构，包括平面索引（Flat Index）、倒排索引（IVF Index）、乘积量化索引（PQ Index）等。这些索引结构可以根据数据集的特点和需求进行选择。例如，倒排索引适用于高维数据集，乘积量化索引适用于低维数据集。通过使用索引结构，Faiss能够将搜索空间划分为多个子空间，从而加速相似度搜索。
  • 其次，Faiss使用量化编码来减少向量的维度。它将高维向量映射到低维空间，以降低计算和存储的成本。Faiss支持多种量化编码方法，如乘积量化（Product Quantization）、向量量化（Vector Quantization）等。这些方法可以将向量划分为多个子向量，并对每个子向量进行编码。通过使用量化编码，Faiss能够在保持搜索质量的同时，显著减少计算和存储的开销。

4、HNSW (Hierarchical Navigable Small World) 特点: HNSW是一种基于图的近似最近邻搜索算法，通过构建一个分层的图结构来实现高效的搜索。HNSW能够在大规模数据集上实现快速且准确的近似最近邻搜索，具有较低的内存消耗和较快的查询速度。应用场景: 推荐系统、图像检索、文本搜索等。

5、QSG-NGT：该算法在当前业界最权威的ANN-Benchmarks中荣获第一。NGT是一种结合了图和树结构的算法，用于高效地进行最近邻搜索。它主要由两个组成部分构成：Neighborhood Graph（邻域图）和Tree（树结构，如VP-Tree、KD-Tree等）。NGT的核心思想是利用邻域图进行精确或近似的最近邻搜索，同时使用树结构加速搜索过程。

2.1、乘积量化PQ概述

乘积量化（Product Quantization）简称 PQ。是和VLAD算法由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法。现有的检索算法存在一些弊端，如 kd树不适合维度高的数据，哈希（LSH）适用中小数据集，而乘积量化这类方法，内存占用更小、数据动态增删更方便。基本思路就是聚类、量化压缩向量维度，提升检索速率。

k-means聚类

先看k-means聚类，k-means聚类算法是一种常用的无监督学习算法，用于将数据集划分为k个不重叠的簇。其基本思想是通过迭代优化的方式，将数据点分配到最近的聚类中心，并更新聚类中心的位置，直到满足停止准则。k-means聚类算法的步骤如下：

  1. 初始化：选择要聚类的数据集和要划分的簇的数量k。随机选择k个数据点作为初始的聚类中心。
  2. 分配数据点：对于每个数据点，计算其与每个聚类中心的距离，并将其分配给距离最近的聚类中心。
  3. 更新聚类中心：对于每个聚类，计算其所有分配给它的数据点的平均值，并将该平均值作为新的聚类中心。这种的叫做平均聚类，平均值就代表当前聚类簇ID
  4. 重复步骤2和步骤3，直到聚类中心不再发生变化或达到预定的迭代次数。
  5. 输出结果：最终的聚类中心即为聚类结果，每个数据点被分配到一个簇中。

需要注意的是，k-means算法对初始聚类中心的选择敏感，可能会得到不同的结果。因此，可以多次运行算法，选择最优的结果。另外，k-means算法对于非凸形状的数据集效果可能不佳，此时可以考虑使用其他聚类算法。

ps：凸形数据集：如果一个数据集D是凸的，简单来说，数据集D中任意两点的连线上的点，也会在数据集D内，那么数据集D就是一个凸集。

简单的k-means代码demo

package org.example.kmeans;

import java.util.ArrayList;
import java.util.List;

/\*\*
 \* @author sichaolong
 \* @createdate 2024/3/29 10:20
 \*/

public class SimpleKMeansDemo {
    private int k; // 聚类的个数
    private List<Point> points; // 数据集
    private List<Cluster> clusters; // 聚类结果

    public SimpleKMeansDemo(int k, List<Point> points) {
        this.k = k;
        this.points = points;
        this.clusters = new ArrayList<>();
    }

    public void run() {
        // 初始化聚类中心, 随机选取k个数据点作为初始聚类中心
        for (int i = 0; i < k; i++) {
            Cluster cluster = new Cluster();
            cluster.setCentroid(points.get(i));
            clusters.add(cluster);
        }

        // 循环直到收敛
        boolean converged = false;
        while (!converged) {
            // 清空聚类结果
            for (Cluster cluster : clusters) {
                cluster.clearPoints();
            }

            // 将每个数据点分配到最近的聚类中心
            for (Point point : points) {
                Cluster nearestCluster = null;
                double minDistance = Double.MAX\_VALUE;
                // 遍历每个聚类中心，找到最近的
                for (Cluster cluster : clusters) {
                    double distance = point.distanceTo(cluster.getCentroid());
                    if (distance < minDistance) {
                        minDistance = distance;
                        nearestCluster = cluster;
                    }
                }
                nearestCluster.addPoint(point);
            }

            // 更新聚类中心
            converged = true;
            // 遍历每个聚类中心，如果聚类中心没有发生变化，则收敛
            for (Cluster cluster : clusters) {
                Point oldCentroid = cluster.getCentroid();
                Point newCentroid = cluster.calculateCentroid();
                if (!oldCentroid.equals(newCentroid)) {
                    cluster.setCentroid(newCentroid);
                    converged = false;
                }
            }
        }
    }

    public List<Cluster> getClusters() {
        return clusters;
    }

    public static void main(String[] args) {
        // 创建数据集
        List<Point> points = new ArrayList<>();
        points.add(new Point(1, 1));
        points.add(new Point(1, 2));
        points.add(new Point(2, 2));
        points.add(new Point(5, 5));
        points.add(new Point(6, 6));
        points.add(new Point(7, 7));

        // 创建K-means对象并运行算法
        SimpleKMeansDemo kMeans = new SimpleKMeansDemo(2, points);
        kMeans.run();

        // 输出聚类结果
        List<Cluster> clusters = kMeans.getClusters();
        for (int i = 0; i < clusters.size(); i++) {
            System.out.println("Cluster " + (i + 1) + ":");
            for (Point point : clusters.get(i).getPoints()) {
                System.out.println("(" + point.getX() + ", " + point.getY() + ")");
            }
            System.out.println();
        }
    }
}

class Point {
    private double x;
    private double y;

    public Point(double x, double y) {
        this.x = x;
        this.y = y;
    }

    public double getX() {
        return x;
    }

    public double getY() {
        return y;
    }

    /\*\*
 \* 计算两个点之间的距离,使用欧几里徳距离
 \* @param other
 \* @return
 \*/
    public double distanceTo(Point other) {
        double dx = x - other.x;
        double dy = y - other.y;
        return Math.sqrt(dx \* dx + dy \* dy);
    }

    @Override
    public boolean equals(Object obj) {
        if (this == obj) {
            return true;
        }
        if (obj == null || getClass() != obj.getClass()) {
            return false;
        }
        Point other = (Point) obj;
        return Double.compare(other.x, x) == 0 && Double.compare(other.y, y) == 0;
    }

    @Override
    public int hashCode() {
        return Double.hashCode(x) + Double.hashCode(y);
    }
}

class Cluster {
    private Point centroid;
    private List<Point> points;

    public Cluster() {
        this.points = new ArrayList<>();
    }

    public Point getCentroid() {
        return centroid;
    }

    public void setCentroid(Point centroid) {


![img](https://img-blog.csdnimg.cn/img_convert/904407494f0ff3bdb8ab4ac5ebaf1471.png)
![img](https://img-blog.csdnimg.cn/img_convert/e86093abb5fcc882efad3b43643f199c.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

oint getCentroid() {
        return centroid;
    }

    public void setCentroid(Point centroid) {


[外链图片转存中...(img-OfR9lLqN-4702073899531)]
[外链图片转存中...(img-ahBAUr7R-4702073899532)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
沉默的王二
关注
  • 27
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法
xiaosi的博客
03-29 1104
ANNS（Approximate Nearest Neighbor Search）翻译为近似最近搜索。是指在大型数据集中找到给定查询点的最近邻点。ANNS 旨在最小化计算成本并同时高效找到近似最近邻。目的：ANNS旨在高维空间中快速找到与查询点近似最近的邻居，牺牲一定的精确度以换取搜索速度的提升。原理：通过构建特定的数据结构（如基于空间划分的KD-Tree、局部敏感哈希LSH等）或使用特定的算法逻辑来减少在高维空间中搜索最近邻所需的计算量。应用场景。
Elasticsearch：结合两全其美：Elasticsearch 与 BM25 和 HNSW 的混合搜索
Elastic 中国社区官方博客
05-07 3762
在此示例中，我们为 BM25 和 HNSW 使用了 0.9 和 0.1 的权重，但你可以尝试使用不同的权重来找到适合你的数据和搜索场景的最佳平衡点。总之，Elasticsearch 中的混合搜索是一种强大的技术，可以结合不同搜索算法的优势，以实现更好的搜索准确性和效率。不同的算法在不同的场景下效果更好，有时需要算法的组合才能达到最好的效果。在 Elasticsearch 中，一种流行的组合搜索算法的方法是使用混合搜索，将用于文本搜索的 BM25 算法与用于最近邻搜索的 HNSW 算法相结合。
一文看懂HNSW算法理论的来龙去脉
热门推荐
u011233351的博客
12-21 6万+
 HNSW算法----Hierarchcal Navigable Small World graphs，第一贡献者：Y.Malkov(俄) 一.背景介绍         在浩渺的数据长河中做高效率相似性查找一直以来都是让人头疼的问题。比如，我在搜狗app上阅读了一篇文章，推荐系统就应当为我推送与这篇文章最相近的文章，数据库中所有文章是用向量表示的，所以我们要解决的问题就是“找到与这篇文章的向量...
nsw & hnsw
u013630299的博客
09-16 3462
参考了很多该博客https://blog.csdn.net/u011233351/article/details/85116719，感谢博主。 参考论文《Approximate nearest neighbor algorithm based on navigable small world graphs》 《Efficient and robust approximate nearest ...
esprit.zip_ES-DOA_es_esprit_esprit doa_esprit算法_es算法
07-15
阵元空间旋转不变技术ES-ESPRIT算法DOA估计MATLAB仿真
ABC.rar_ABC算法_bees optimization_人工蜂群算法_蜂群优化_蜂群算法
09-23
人工蜂群算法是模仿蜜蜂行为提出的一种优化方法，只需要对问题进行优劣的比较，通过各人工蜂个体的局部寻优行为，最终在群体中使全局最优值突现出来，有着较快的收敛速度。
matlab.rar_es2 MATLAB_es2函数matlab_matlab es2_matlab adb_基于 金字塔
09-20
基于拉普拉斯金字塔变换的图像融合算法研究，用matlab语言的实现
cma.zip_CMA ES_CMA-ES_CMA-ES 算法_cma_es算法
09-24
CMA-ES算法，CMA-ES一个很好的ES优化算法, C语言程序, 很好看懂.
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码
10-04
一个搜索框架的管理界面项目，可以监控管理相关的微服务
ANNS算法论文.zip
02-21
论文，关于ANNS算法的描述，包含算法NSG以及NSSG，包括相似最近邻算法的发展历程，包括理论论证，实现，分析，感兴趣的可以下载
matlab中存档算法代码-ANNS:探索近似最近邻搜索方法的项目
05-23
matlab中存档算法代码人工神经网络 介绍 这是一个重新实现基于图形的ANNS的C ++程序并探索各种变体以提高算法性能的项目。 要求和准备 操作系统：Ubuntu / Debian 编译器：g ++> = 4.9 软体/套件：Anaconda> = 4.5.1，Matlab 从下载数据，并构建一个kNN图。 并按照以下方式组织文件： . ├── gist │   ├── gist_100NN_100.graph │   ├── gist_base.fvecs │   ├── gist_groundtruth.ivecs │   ├── gist_learn.fvecs │   └── gist_query.fvecs ├── sift │   ├── sift_100NN_100.graph │   ├── sift_base.fvecs │   ├── sift_groundtruth.ivecs │   ├── sift_learn.fvecs │   └── sift_query.fvecs 要使用python版本的OPQ编码，您需要使用faiss。 跑步 conda ins
hnsw 大规模向量检索
06-23
使用hnswlib完成大规模向量检索，一般用于推荐系统中item2item的相似计算，选取物品最近的K个召回结果，相关介绍参考本人博客。
HNSW近邻搜索算法
友培的博客
09-10 661
文章目录HNSW近邻搜索算法记录1 NSW算法2 跳表原理3 HNSW算法 HNSW近邻搜索算法记录 1 NSW算法 如果要知道HNSW算法，那首先必须得了解NSW原理，毕竟HNSW是根据HNSW升级转换而来 理想状态下，一个好的近邻搜索算法应该要包括三点的内容：1、构图算法的时间复杂度低；2、查找目标的效率高；3、具备"高速公路"机制(高速公路：相隔较远的点的连接，方便快速查找到当前节点) 人为规定友节点数量是4(友节点：和自己最近的点的数量)，上图解释： 1、我们要做的是搜索近邻，那肯定是要选择
人工神经网络ANNs
aws10686的博客
11-02 358
参考： 　　1. Stanford前向传播神经网络Wiki 　　2. Stanford后向传播Wiki 　　3. 神经网络CSDN blog 　　4. 感知器 　　5. 线性规划 　　6. Logistic回归模型 内容： 　 1. ANNs又称连接模型（connection model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的数学模型。它是由一系列简...
Elasticsearch 中的向量搜索：设计背后的基本原理
Elastic 中国社区官方博客
07-13 2310
你是否有兴趣了解 Elasticsearch 用于向量搜索的特性以及设计是什么样子？一如既往，设计决策有利有弊。本博客旨在详细介绍我们如何选择在 Elasticsearch 中构建向量搜索。
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3 新功能ScaNN 索引和Iterator
最新发布
LCHub低代码社区
09-07 285
Milvus 目前支持了 Faiss 中的 FastScan 算法，在各项 benchmark 中有着不俗的表现，对比 HNSW 有 20% 左右提升，约为 IVFFlat 的 7 倍，同时构建索引速度更快。ScaNN 在算法上跟 IVFPQ 比较类似，聚类分桶，然后桶里的向量使用 PQ 做量化，区别是 ScaNN 对于量化比较激进，搭配上 SIMD 计算效率较高，但是精度损失会比较大，需要有原始向量做 refine 的过程。Milvus 的 CDC 代码在。
Jina AI x 开源之夏｜近似最近邻搜索算法HNSW的改进与优化
Jina AI 的博客
10-25 635
Jina AI 的开源向量索引产品AnnLite的核心近似搜索算法是基于 HNSW 来实现，并在此基础上提供了更加丰富的功能（例如支持前置过滤近似查询）。为了使得 AnnLite 能够具备更强的竞争力和实际应用价值，我们对 HNSW 算法进行了改进和优化。10 月 26 日晚 7:00，我们邀请到了负责本优化项目的叶坚白，来分享《近似最近邻搜索算法 HNSW 的改进与优化》。作者介绍叶坚白J...
机器学习笔记 近似相似性搜索/近似最近邻算法(ANN)
学以致用 知行合一
03-25 1679
1、ANN算法（approximate nearest neighbor）最近邻算法通常会牺牲完美的精度来提高速度。这些近似最近邻 （ANN） 算法可能并不总是返回真正的k个最近向量。但它们运行高效，可扩展到大型数据集，同时保持良好的性能。这种算法的优势在于，在许多情况下，近似的最近邻几乎与确切的近邻效果一样好。如果距离测量准确地捕捉了用户的需求，那么距离的微小差异应该无关紧要。
es 聚合查询排除null_elasticsearch 聚合查询篇
06-02
好的，针对您的问题，您可以使用 Elasticsearch 的聚合查询中的“missing”聚合来排除 null 值。 具体来说，您可以使用以下的聚合查询语句： ``` { "aggs": { "field_name": { "missing": { "field": "your_field_name" } } } } ``` 其中，“field_name”是您想要聚合的字段名称，“your_field_name”是您想要排除 null 值的字段名称。 这样，您就可以得到该字段的非 null 值的聚合结果了。希望这能够帮助到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值