Elasticsearch：Geo Point 和 Geo Shape 查询解释

已于 2023-03-27 21:31:01 修改
阅读量1.2k 收藏 9
点赞数
分类专栏： Elasticsearch Elastic 文章标签： elasticsearch 大数据 搜索引擎 全文检索 数据库
于 2023-03-22 18:41:43 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/129707954
版权
Elastic 同时被 2 个专栏收录
1316 篇文章 838 订阅
订阅专栏
Elasticsearch
862 篇文章 562 订阅
订阅专栏

在本文中，我们将了解 Elasticsearch 的地理查询、如何设置映射和索引，并提供一些示例来说明如何查询数据。

Elasticsearch 中的地理数据

Elasticsearch 允许你以两种方式表示 GeoData：geo_shape 和 geo_point。

Geo Point 允许你将数据存储为纬度和经度坐标对。 当你要针对点之间的距离过滤数据、在边界框内搜索或使用聚合时，请使用此字段类型。 你可以指定许多超出本文范围的功能和选项。 我们将在这里介绍几个，但你可以在 Elasticsearch 的文档中查看地理边界框、地理距离和地理聚合的选项。

当你拥有表示形状的 GeoData 时，或者当你想要查询形状内的点时，请使用 Geo-Shape。 geo_shape 数据必须以 GeoJSON 格式编码，该格式被转换为表示 Geohash 单元格网格上的长/纬度坐标对的字符串。 由于 Elasticsearch 将形状作为术语进行索引，因此很容易确定形状之间的关系，这些关系可以使用相交、不相交、包含或在查询空间关系运算符中进行查询。更多关于 geohash 的学习，请参阅 “Elasticsearch：理解 Elastic Maps 中的 geohash 及其聚合”。

遗憾的是 geo-point 和 geo-shape 不能一起查询。 例如，如果要获取指定多边形内的所有城市，则不能使用以地理点为索引的城市。 它们必须使用 GeoJSON 中的 “type": "point" 进行索引，并作为 geo-shape 进行索引。

Geo Point 字段类型

geo_point 类型的字段接受经纬度对，可以使用：

Geo point 映射

我们可以使用如下的方式来定义一个带有 geo_point 数据类型的索引：

PUT location_index
{
  "mappings": {
    "properties": {
      "text" : {
        "type" : "text"
      },
      "location": {
        "type": "geo_point"
      }
    }
  }
}

我们可以用五种不同的方式存储 Geo Point。

Geo point 作为一个对象

对象可以与 lat 和 lon 等属性一起使用。

PUT location_index/_doc/1
{
  "text": "Geopoint as an object",
  "location": { 
    "lat": 41.12,
    "lon": -71.34
  }
}

Geo Point 作为一个字符串

一个纯字符串，可以使用 “,” 分隔，格式为 lat, lon 。

PUT location_index/_doc/2
{
  "text": "Geopoint as a string",
  "location": "41.12,-71.34" 
}

Geo Point 作为 Geohash

哈希值用于表示 lat 和 lon 。 有一个在线网站可以这样做：

PUT location_index/_doc/3
{
  "text": "Geopoint as a geohash",
  "location": "drm3btev3e86" 
}

Geo point 作为数组

坐标可以用数组 [lon, lat] 的形式表示，值为 double 。

PUT location_index/_doc/4
{
  "text": "Geopoint as an array",
  "location": [ -71.34, 41.12 ] 
}

Geo Point 作为 WKT Point

坐标可以用函数 POINT(lon lat) 的形式表示。

PUT location_index/_doc/5
{
  "text": "Geopoint as a WKT POINT primitive",
  "location" : "POINT (-71.34 41.12)" 
}

注意：无论地理点以何种格式保存，我们也可以查询其他格式。 但要小心正确定义格式。 不要替换为 lat 和 lon 值。 这可以给出未预先确定的值。

Geo shape 字段类型

geo_shape 数据类型有助于对任意地理形状（例如矩形和多边形）进行索引和搜索。 当被索引的数据或被执行的查询包含形状而不仅仅是点时，应该使用它。

你可以使用 geo_shape 查询使用此类型查询文档。

Geo shape 映射

PUT geo_shape_indx
{
  "mappings": {
    "properties": {
      "location": {
        "type": "geo_shape"
      }
    }
  }
}

我们有如下的几种方式来存储 geo_shape 数据。

Geo Json 类型 POINT

单个地理坐标。 注意：Elasticsearch 仅使用 WGS-84 坐标。

POST geo_shape_indx/_doc/1
{
  "location" : {
    "type" : "point",
    "coordinates" : [-77.03653, 38.897676]
  }
}

Geo Json 类型 LINESTRING

给定两个或多个点的任意线。

POST geo_shape_indx/_doc/2
{
  "location" : {
    "type" : "linestring",
    "coordinates" : [[-77.03653, 38.897676], [-77.009051, 38.889939]]
  }
}

Geo Json 类型 POLYGON

一个封闭的多边形，其首点和末点必须匹配，因此需要 n + 1 个顶点来创建 n 边多边形，并且最少需要 4 个顶点。

POST geo_shape_indx/_doc/3
{
  "location" : {
    "type" : "polygon",
    "coordinates" : [
      [ [-77.03653, 38.897676], [-77.03653, 37.897676], [-76.03653, 38.897676], [-77.03653, 38.997676], [-77.03653, 38.897676] ]
    ]
  }
}

Geo Json 类型 MULTIPOLYGON

一组单独的多边形：

POST geo_shape_indx/_doc/4
{
  "location" : {
    "type" : "MultiPolygon",
    "coordinates" : [
      [ [[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]] ],
      [ [[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
        [[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]] ]
    ]
  }
}

Geo Json 类型 MULTIPOINT

一组未连接但可能相关的点:

POST geo_shape_indx/_doc/5
{
  "location" : {
    "type" : "multipoint",
    "coordinates" : [
      [-78.0, 38.0], [-79.0, 38.0]
    ]
  }
}

Geo Json 类型 MULTILINESTRING

一组单独的线字符串：

POST geo_shape_indx/_doc/6
{
  "location" : {
    "type" : "multilinestring",
    "coordinates" : [
      [ [-77.03, 38.89], [-78.03, 38.89], [-78.03, 39.89], [-78.03, 39.89] ],
      [ [-76.03, 36.89], [-77.03, 36.89], [-77.03, 37.89], [-76.03, 37.89] ],
      [ [-76.23, 36.69], [-76.03, 36.89], [-76.23, 36.89], [-76.23, 36.09] ]
    ]
  }
}

Geo Json 类型 GEOMETRYCOLLECTION

GeoJSON 形状类似于 multi* 形状，只是多种类型可以共存（例如，Point 和 LineString）。

POST geo_shape_indx/_doc/7
{
  "location" : {
    "type": "geometrycollection",
    "geometries": [
      {
        "type": "point",
        "coordinates" : [-77.03653, 38.897676]
      },
      {
        "type": "linestring",
        "coordinates" : [[-77.03653, 38.897676], [-77.009051, 38.889939]]
      }
    ]
  }
}

Geo Json 类型 BBOX（Elastic Search 中的 ENVELOPE）

边界矩形或信封，通过仅指定左上角和右下角点来指定。

POST geo_shape_indx/_doc/8
{
  "location" : {
    "type" : "envelope",
    "coordinates" : [ [-77.03653, 38.897676], [-76.03653, 37.897676] ]
  }
}

通过使用 geo_point 或 geo_shape，Elasticsearch 将自动查找坐标，根据需要的格式对其进行验证，并对其进行索引。

将数据加载到 Elasticsearch

安装 Elasticsearch 及 Kibana

如果你还没有安装好自己的 Elasticsearch 及 Kibana 的话，请参考我之前的文章 “Elasticsearch：如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发”。我们采用 docker-compose 来进行安装。为了方便测试，我们将不使用安全配置。你也可以参考文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 中的 “如何配置 Elasticsearch 不带安全性” 章节来进行安装。在我们今天测试中，我们将使用最新的 Elastic Stack 8.6.2 来进行测试。

我们将在本演练中使用的数据取自华盛顿州交通部 (WSDOT) 地理数据目录。 下载 “City Points” 和 “WSDOT Regions 24k” 的 shapefile。 City Points 将为我们提供华盛顿的城市，而 WSDOT Regions 将为我们提供 WSDOT 指定的区域。 你可以在下载前单击下载链接旁边的查看来查看数据。 我已将 shapefile 转换为 GeoJSON 格式。

我创建了一个 nodejs 应用程序来创建索引和加载数据。 请按照 Github 链接中的步骤操作，并按照 README 文件加载数据。我们使用如下的命令来下载代码：

git clone https://github.com/liu-xiao-guo/node_playground
$ pwd
/Users/liuxg/nodejs/node_playground/elastic-geo-spatial
$ ls
README.md           cities.json         countys.json        package-lock.json
cities.js           countys.js          docker-compose.yaml package.json
$ npm install
npm notice Beginning October 4, 2021, all connections to the npm registry - including for package installation - must use TLS 1.2 or higher. You are currently using plaintext http to connect. Please visit the GitHub blog for more information: https://github.blog/2021-08-23-npm-registry-deprecating-tls-1-0-tls-1-1/
npm notice Beginning October 4, 2021, all connections to the npm registry - including for package installation - must use TLS 1.2 or higher. You are currently using plaintext http to connect. Please visit the GitHub blog for more information: https://github.blog/2021-08-23-npm-registry-deprecating-tls-1-0-tls-1-1/

added 6 packages in 2s
npm notice 
npm notice New major version of npm available! 8.19.2 -> 9.6.2
npm notice Changelog: https://github.com/npm/cli/releases/tag/v9.6.2
npm notice Run npm install -g npm@9.6.2 to update!
npm notice

我们运行如下的命令来写入索引 geo_cities_point:

 node cities.js

我们运行如下的命令来写入索引 geo_cities_shapes：

node countys.js

我们通过如下的命令来查看最新写入的索引：

GET _cat/indices

我们可以通过如下的命令来查看两个索引的 mapping：

GET geo_cities_point/_mapping
{
  "geo_cities_point": {
    "mappings": {
      "properties": {
        "GNIS": {
          "type": "integer"
        },
        "location": {
          "type": "geo_point"
        },
        "name": {
          "type": "text"
        },
        "objectId": {
          "type": "integer"
        }
      }
    }
  }
}

 上面显示 loclation 字段为 geo_point 类型。我们通过如下的命令来查看 geo_cities_shapes 的 mapping：

GET geo_cities_shapes/_mapping
{
  "geo_cities_shapes": {
    "mappings": {
      "properties": {
        "location": {
          "type": "geo_shape"
        },
        "name": {
          "type": "text"
        }
      }
    }
  }
}

上面表明 location 字段为一个 geo_shape 的类型。

Geo POINT 查询

Elasticsearch 使用术语查询和过滤器。 查询依赖于 “评分”，或者文档是否与查询匹配以及匹配的程度如何。 另一方面，过滤是 “非评分” 的，它确定文档是否与查询匹配。 根据 Elasticsearch，从 2.x 开始，查询和过滤已成为同义词，因为你可以同时拥有评分和非评分查询。 使用评分或非评分查询有各种性能优势和缺点，但经验法则是当相关性分数很重要时使用评分查询，而对其他一切使用非评分查询。

由于我们的索引中有一些数据，是时候开始查询了。 我们将了解一些可用于 geo_point 和 geo_shape 的基本查询。

与地理点的距离

要获得任意两点之间的距离，我们的数据必须使用 geo_point 类型存储。 该文档提供了各种数据格式作为示例。 在 GeoPoint 的给定距离内匹配 geo_point 和 geo_shape 值。 以下查询列出了 10 英里距离内的位置。

GET geo_cities_point/_search
{
  "query": {
    "bool": {
      "must": {
        "match_all": {}
      },
      "filter": {
        "geo_distance": {
          "distance": "10mi",
          "location": [
            -122.3375,
            47.6112
          ]
        }
      }
    }
  }
}

Geo Distance Aggregation

适用于 geo_point 字段的多桶聚合，在概念上与范围聚合非常相似。 用户可以定义一个原点和一组距离范围桶。 聚合评估每个文档值与原点的距离，并根据范围确定其所属的桶（如果文档与原点之间的距离在桶的距离范围内，则文档属于该桶）。

有时我们需要知道一个范围内的坐标数。 这是一个用于列出结果的聚合函数。 现在我们将尝试找到直到 10 MI 、从 10 MI 到 50 MI 、从 50 MI 到 100 MI 和从 100 MI 的坐标。 这应该返回范围内匹配的文档数。

GET geo_cities_point/_search?size=0&filter_path=aggregations
{
  "aggs": {
    "data_around_city": {
      "geo_distance": {
        "unit": "mi",
        "field": "location",
        "origin": "47.6112, -122.3375",
        "ranges": [
          {
            "to": 10
          },
          {
            "from": 10,
            "to": 50
          },
          {
            "from": 50,
            "to": 100
          },
          {
            "from": 100
          }
        ]
      }
    }
  }
}

上述命令的返回值为：

{
  "aggregations": {
    "data_around_city": {
      "buckets": [
        {
          "key": "*-10.0",
          "from": 0,
          "to": 10,
          "doc_count": 12
        },
        {
          "key": "10.0-50.0",
          "from": 10,
          "to": 50,
          "doc_count": 77
        },
        {
          "key": "50.0-100.0",
          "from": 50,
          "to": 100,
          "doc_count": 57
        },
        {
          "key": "100.0-*",
          "from": 100,
          "doc_count": 135
        }
      ]
    }
  }
}

地理多边形里的地理点

我们也可以返回仅落在多边形点内的命中的查询：

GET geo_cities_point/_search?filter_path=**.hits
{
  "_source": false, 
  "fields": [
    "objectId",
    "name"
  ], 
  "query": {
    "bool": {
      "must": {
        "match_all": {}
      },
      "filter": {
        "geo_shape": {
          "location": {
            "shape": {
              "type": "polygon",
              "relation": "within",
              "coordinates": [
                [
                  [
                    -122.35610961914062,
                    47.70514099299205
                  ],
                  [
                    -122.48519897460936,
                    47.5626274374099
                  ],
                  [
                    -122.28744506835938,
                    47.44852243794931
                  ],
                  [
                    -122.15972900390624,
                    47.558920607496525
                  ],
                  [
                    -122.2283935546875,
                    47.719001413201916
                  ],
                  [
                    -122.35610961914062,
                    47.70514099299205
                  ]
                ]
              ]
            }
          }
        }
      }
    }
  }
}

上面的查询返回结果：

{
  "hits": {
    "hits": [
      {
        "_index": "geo_cities_point",
        "_id": "83",
        "_score": 1,
        "fields": {
          "name": [
            "Seattle"
          ],
          "objectId": [
            83
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "97",
        "_score": 1,
        "fields": {
          "name": [
            "Bellevue"
          ],
          "objectId": [
            97
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "101",
        "_score": 1,
        "fields": {
          "name": [
            "Yarrow Point"
          ],
          "objectId": [
            101
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "102",
        "_score": 1,
        "fields": {
          "name": [
            "Hunts Point"
          ],
          "objectId": [
            102
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "103",
        "_score": 1,
        "fields": {
          "name": [
            "Medina"
          ],
          "objectId": [
            103
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "104",
        "_score": 1,
        "fields": {
          "name": [
            "Clyde Hill"
          ],
          "objectId": [
            104
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "108",
        "_score": 1,
        "fields": {
          "name": [
            "Mercer Island"
          ],
          "objectId": [
            108
          ]
        }
      },
      {
        "_index": "geo_cities_point",
        "_id": "110",
        "_score": 1,
        "fields": {
          "name": [
            "Beaux Arts"
          ],
          "objectId": [
            110
          ]
        }
      }
    ]
  }
}

地理边界框里的地理点

匹配与边界框相交的 geo_point 和 geo_shape 值。 当 GeoHashes 用于指定边界框边缘的边界时，GeoHashes 被视为矩形。 边界框的定义方式是，其左上角对应于 top_left 参数中指定的 GeoHash 的左上角，其右下角定义为 bottom_right 参数中指定的 GeoHash 的右下角。

地理点（geo_point）的精度有限，并且在索引时间内始终向下舍入。 在查询期间，边界框的上边界向下舍入，而下边界向上舍入。 因此，由于舍入误差，下边界上的点（边界框的底部和左边缘）可能无法进入边界框。 同时，查询可能会选择上边界（顶部和右边缘）旁边的点，即使它们稍微位于边缘之外。 纬度上的舍入误差应小于 4.20e-8 度，经度上的舍入误差应小于 8.39e-8 度，这意味着即使在赤道上也小于 1 厘米的误差。

GET geo_cities_point/_search?filter_path=**.hits
{
  "query": {
    "bool": {
      "must": {
        "match_all": {}
      },
      "filter": {
        "geo_bounding_box": {
          "location": {
            "top_left": {
              "lat": 47.7328,
              "lon": -122.448
            },
            "bottom_right": {
              "lat": 47.468,
              "lon": -122.0924
            }
          }
        }
      }
    }
  }
}

Geo Shape 查询

所有 geo-shape 查询都需要使用 geo_shape 映射来映射你的数据。 使用 geo-shapes，我们可以找到与查询形状相交的文档。

Geo Shape Query

过滤使用 geo_shape 或 geo_point 类型索引的文档。需要 geo_shape 映射或 geo_point 映射。

geo_shape 查询使用与 geo_shape 映射相同的网格正方形表示来查找具有与查询形状相交的形状的文档。 它还将使用为字段映射定义的相同前缀树配置。 查询支持两种定义查询形状的方法，通过提供整个形状定义或通过引用在另一个索引中预索引的形状的名称。 这两种格式都在下面通过示例进行了定义。

空间关系

geo_shape 策略映射参数确定在搜索时可以使用哪些空间关系运算符。以下是搜索地理字段时可用的空间关系运算符的完整列表：

  • INTERSECTS -（默认）返回其 geo_shape 或 geo_point 字段与查询几何相交的所有文档。
  • DISJOINT - 返回其 geo_shape 或 geo_point 字段与查询几何没有共同点的所有文档。
  • WITHIN - 返回其 geo_shape 或 geo_point 字段在查询几何内的所有文档。 不支持线几何。
  • CONTAINS - 返回其 geo_shape 或 geo_point 字段包含查询几何的所有文档。

比如：

GET geo_cities_shapes/_search
{
  "query": {
    "bool": {
      "must": {
        "match_all": {}
      },
      "filter": {
        "geo_shape": {
          "location": {
            "shape": {
              "type": "envelope",
              "coordinates": [
                [
                  -122.35610961914062,
                  47.70514099299205
                ],
                [
                  -122.2283935546875,
                  47.01900141320191
                ]
              ]
            },
            "relation": "disjoint"
          }
        }
      }
    }
  }
}

预索引形状

该查询还支持使用已在另一个索引中编制索引的形状。 当你有一个预定义的形状列表并且你希望使用逻辑名称（例如 New Zealand）而不是每次都提供坐标来引用该列表时，这特别有用。 在这种情况下，只需提供：

  • id - 包含预索引形状的文档的 ID。
  • index - 预索引形状所在的索引的名称。 默认为 shapes。
  • path - 该字段被指定为包含预索引形状的路径。 默认为 shap。
  • routing - 形状文档的路由（如果需要）。
PUT shapes
{
  "mappings": {
    "properties": {
      "geometry": {
        "type": "geo_shape"
      }
    }
  }
}
PUT shapes/_doc/test
{
  "location": {
    "type": "envelope",
    "coordinates": [
      [
        -122.35610961914062,
        47.70514099299205
      ],
      [
        -122.2283935546875,
        47.01900141320191
      ]
    ]
  }
}

我们可以做如下的搜索：

GET geo_cities_shapes/_search
{
  "query": {
    "bool": {
      "filter": {
        "geo_shape": {
          "location": {
            "indexed_shape": {
              "index": "shapes",
              "id": "test",
              "path": "location"
            }
          }
        }
      }
    }
  }
}

在上面，我们的 shape 信息是从 shapes 这个索引里得到的。

更多阅读：

Elastic 中国社区官方博客
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办
04-12 1395
2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elasticsearch：ES|QL 动手实践
11-14 1603
在我之前的文章 “”，我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中，我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Int4：Lucene 中的更多标量量化
04-27 392
​在 Lucene 中引入 Int4 量化。在之前的博客中，我们全面介绍了 Lucene 中标量量化的实现。 我们还探索了两种具体的量化优化。 现在我们遇到了一个问题：int4 量化在 Lucene 中是如何工作的以及它是如何排列的？
博客
Elastic Universal Profiling: 提供性能改进和成本降低
04-25 717
​在当今云服务和 SaaS 平台的时代，持续改进不仅是一个目标，而是一个必要条件。在 Elastic，我们始终在寻找方法来优化我们的系统，无论是我们的内部工具还是 Elastic Cloud 服务。我们最近在 Elastic Cloud QA 环境中进行的性能优化调查，由 Elastic Universal Profiling 指导，是如何将数据转化为可操作见解的一个很好的例子。在本博客中，我们将介绍我们的一位工程师发现的一项内容，该发现导致我们在 QA 环境中节省了数千美元，并且一旦我们将此更改部署
博客
使用 OpenTelemetry 中的推断跨度来揭示跟踪数据中的未知信息
04-24 844
在微服务和分布式系统的复杂世界中，实现透明度并了解服务交互和请求流程的复杂性和低效性已成为一个重要挑战。分布式跟踪对于理解分布式系统至关重要。但是，无论是手动应用还是自动检测，分布式跟踪通常都相对粗粒度。因此，分布式跟踪仅覆盖系统的有限部分，往往会错过系统中最有价值的跟踪部分。
博客
Elasticsearch：崭新的打分机制 - Learning To Rank (LTR)
04-22 2435
“学习排名 (Learning To Rank)” 功能处于技术预览版，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但此功能不受官方 GA 功能的支持 SLA 的约束。：此功能是在版本 8.12.0 中引入的，并且仅适用于某些订阅级别。有关更多信息，请参阅。Learning To Rank (LTR) 使用经过训练的机器学习（ML）模型来构建搜索引擎的排名函数。通常，该模型用作第二阶段的重新排序器，以提高简单的第一阶段检索算法返回的搜索结果的相关性。
博客
Elasticsearch 开放 inference API 增加了对 OpenAI chat completions 的支持
04-21 1791
我们很高兴地宣布在 Elasticsearch 中推出的最新创新：在 Elastic 的中集成了 OpenAI Chat Completions 功能。这一新特性标志着我们在整合尖端人工智能能力至 Elasticsearch 的旅程中又迈出了一步，提供了生成类人文本完成等更多易于使用的功能。更多关于 OpenAI Chat Completions 的用法，请阅读文章 “
博客
Elastic 网络爬虫：为你的网站添加搜索功能
04-20 1725
从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。现在我们可以在新规则生效的情况下重新进行一次爬取。注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。
博客
从 Elastic 的 Go APM 代理迁移到 OpenTelemetry Go SDK
04-19 1098
正如，Elastic 致力于帮助 OpenTelemetry（OTel）取得成功，这意味着在某些情况下构建语言 SDK 的分发版本。Elastic 在观察性和安全数据收集方面战略性地选择了 OTel 标准。此外，Elastic 承诺与 OTel 社区合作，成为观察性生态系统中最佳的数据收集基础设施。Elastic 正在加深与 OTel 的合作关系，超越了最近将（invokedynamic）以及。
博客
Elasticsearch：使用向量化和 FFI/madvise 加速 Lucene
04-18 1103
在 Lucene 领域，我们一直热切地采用新版本 Java 的功能。这些功能使 Lucene 更接近 JVM 和底层硬件，从而提高了性能和稳定性。这使得 Lucene 保持现代化和具有竞争力。Lucene 的下一个主要版本，Lucene 10，将需要至少 Java 21。让我们看看我们为什么要这样做以及它将如何惠及 Lucene。
博客
Elasticsearch：简化 KNN 搜索
04-18 3218
在这篇博客文章中，我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力！我们在 Elastic 处理 knn 搜索的方式在不断进化，我们持续引入新功能和改进，因此这些参数和整体评估很可能很快就会过时！我们总是在密切关注，一旦发生变化，我们将确保跟进并相应调整我们的配置！需要记住的一件重要事情是，这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验，并根据自己的需求进行相应调整（例如，在某些情况下，召回率可能比延迟更重要）。
博客
追溯历史：SIEM 中的生成式人工智能革命
04-17 1231
网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
博客
Elasticsearch：如何将 MongoDB 数据引入 Elastic Cloud
04-17 1418
​Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库，它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。
博客
Elasticsearch .NET 客户端的演变
04-16 1024
在 .NET 世界中，与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持，该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的，由于其丰富的功能集和无缝的集成能力，很快就受到了开发人员的欢迎。在的近 14 年时间里，NEST 一直忠实地跟踪 Elasticsearch 的发布。
博客
RAG (Retrieval Augmented Generation) 结合 LlamaIndex、Elasticsearch 和 Mistral
04-16 1417
在这篇文章中，我们将讨论如何使用 RAG 技术（检索增强生成）和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。
博客
向量数据库与图数据库：理解它们的区别
04-16 1169
向量数据库将数据组织成广阔的、多维空间中的点，而不是行和列。每个点代表一条数据，其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙，其中每颗行星都是一条数据，它们被组织成与相似的行星更近，与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点，这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质，这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中，两个点越接近，它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值