Elasticsearch：跨集群使用 ES|QL

Elastic 中国社区官方博客

于 2024-07-25 15:30:08 发布

阅读量1.1k

点赞数 20

分类专栏： Elasticsearch ESQL Elastic 文章标签： elasticsearch 大数据搜索引擎全文检索

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/UbuntuTouch/article/details/140687378

版权

Elastic 同时被 3 个专栏收录

1428 篇文章 880 订阅

订阅专栏

Elasticsearch

962 篇文章 586 订阅

订阅专栏

ESQL

25 篇文章 6 订阅

订阅专栏

警告：ES|QL 的跨集群搜索目前处于技术预览阶段，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但技术预览中的功能不受官方 GA 功能的支持 SLA 约束。

使用 ES|QL，你可以跨多个集群执行单个查询。

前提：

跨集群搜索需要远程集群。要在 Elasticsearch Service 上设置远程集群，请参阅在 Elasticsearch Service 上配置远程集群。如果你在自己的硬件上运行 Elasticsearch，请参阅远程集群。
要确保你的远程集群配置支持跨集群搜索，请参阅支持的跨集群搜索配置。
要获得完整的跨集群搜索功能，本地和远程集群必须处于同一订阅级别。
本地协调节点必须具有 remote_cluster_client 节点角色。
如果你使用嗅探模式（sniff mode），则本地协调节点必须能够连接到远程集群上的种子节点和网关节点。
- 我们建议使用能够充当协调节点的网关节点。种子节点（seed nodes）可以是这些网关节点的子集。
如果你使用代理模式（proxy mode），则本地协调节点必须能够连接到配置的 proxy_address。此地址的代理必须能够将连接路由到远程集群上的网关和协调节点。
跨集群搜索需要本地集群和远程集群上的不同安全权限。请参阅配置跨集群搜索和远程集群的权限。

如果你还不知道如何设置跨集群安全，请参考我之前的文章 “Elasticsearch：如何为 CCR 及 CCS 建立带有安全的集群之间的互信”。在那篇文章中，我有详细的步骤描述如何使得两个集群互信，并建立远程连接。

在 Ubuntu 机器上，我们可以创建一个与 mac 电脑的远程链接：

同样在 mac 机器上，我们可以建立一个与 Ubuntu 机器的远程连接：

安全模型

Elasticsearch 支持两种跨集群搜索 (CCS) 安全模型：

TLS certificate authentication
API key authentication

TLS 证书身份验证

TLS 证书身份验证使用双向 TLS 保护远程集群。当单个管理员完全控制两个集群时，这可能是首选模型。我们通常建议两个集群中的角色及其权限相同。

请参阅 TLS 证书身份验证，了解先决条件和详细设置说明。

API key authentication

注意：当使用基于 API 密钥的安全模型的 ES|QL 时，此版本不支持 ENRICH

以下信息涉及使用基于 API 密钥的安全模型跨集群使用 ES|QL。你需要按照该页面上的步骤获取完整的设置说明。此页面仅包含特定于 ES|QL 的其他信息。

基于 API 密钥的跨集群搜索 (CCS) 可以更精细地控制集群之间允许的操作。当你为不同的集群配备不同的管理员，并希望更好地控制谁可以访问哪些数据时，这可能是首选模型。在此模型中，集群管理员必须明确定义授予集群和用户的访问权限。

你需要：

使用创建跨集群 API 密钥 API 或使用 Kibana API 密钥 UI 在远程集群上创建 API 密钥。
将 API 密钥添加到本地集群上的密钥库，作为配置本地集群的步骤的一部分。来自本地集群的所有跨集群请求都受 API 密钥的权限约束。

使用基于 API 密钥的安全模型的 ES|QL 需要一些额外的权限，而使用基于传统查询 DSL 的搜索时可能不需要这些权限。以下示例 API 调用创建一个角色，该角色可以在使用基于 API 密钥的安全模型时使用 ES|QL 查询远程索引。

POST /_security/role/remote1
{
  "cluster": ["cross_cluster_search"], # 1
  "indices": [
    {
      "names" : [""], # 2
      "privileges": ["read"]
    }
  ],
  "remote_indices": [ # 3
    {
      "names": [ "logs-*" ],
      "privileges": [ "read","read_cross_cluster" ], # 4 
      "clusters" : ["my_remote_cluster"] # 5
    }
  ]
}

本地集群需要 cross_cluster_search 集群权限。
通常，用户将具有读取本地和远程索引的权限。但是，对于角色仅用于搜索远程集群的情况，仍需要本地集群的 read 权限。要提供对本地集群的读取访问权限，但不允许读取本地集群中的任何索引，names 字段可能为空字符串。
索引允许对远程集群的读取访问权限。配置的 cross-cluster API key 还必须允许读取此索引。
使用基于 API 密钥的安全模型跨集群使用 ES|QL 时，始终需要 read_cross_cluster 权限。
这些权限适用的远程集群。必须为此远程集群配置 cross-cluster API key 并连接到远程集群，然后才能查询远程索引。使用 Remote cluster info 验证连接。

然后，你将需要一个具有上面创建的权限的用户或 API 密钥。以下示例 API 调用创建具有 remote1 角色的用户。

POST /_security/user/remote_user
{
  "password" : "<PASSWORD>",
  "roles" : [ "remote1" ]
}

请记住，来自本地集群的所有跨集群请求都受跨集群 API 密钥的权限的约束，该权限由远程集群的管理员控制。

远程集群设置

配置安全模型后，你可以添加远程集群。

以下 cluster update settings 请求添加了三个远程集群：cluster_one、cluster_two 和 cluster_three。

PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "cluster_one": {
          "seeds": [
            "35.238.149.1:9300"
          ],
          "skip_unavailable": true
        },
        "cluster_two": {
          "seeds": [
            "35.238.149.2:9300"
          ],
          "skip_unavailable": false
        },
        "cluster_three": {  
          "seeds": [
            "35.238.149.3:9300"
          ]
        }
      }
    }
  }
}

由于 cluster_three 上未设置 skip_unavailable，因此它使用默认值 false。有关详细信息，请参阅 Optional remote clusters 部分。

跨多个集群查询

在 FROM 命令中，使用格式 <remote_cluster_name>:<target> 指定远程集群上的数据流和索引。例如，以下 ES|QL 请求查询名为 mac 的单个远程集群上的 twitter 索引：

步骤一

按照之前的文章 “Elasticsearch：如何为 CCR 及 CCS 建立带有安全的集群之间的互信” 配置两个互相的集群。我们使用如下的配置：

我们在 mac 电脑上打入如下的命令：

PUT twitter/_doc/1
{
  "content": "This is Xiaoguo from Elastic"
}

我们可以在的 Ubuntu 上可以做如下的查询：

POST _query?format=txt
{
  "query": """
    FROM mac:twitter
    | LIMIT 10
  """
}

我们在 Ubuntu 电脑上也同时生成一个 twitter 索引：

PUT twitter/_doc/1
{
  "content": "This is the doc from Ubuntu machine"
}

那么我们可以在 Ubuntu 机器上使用如下命令来查询所有的文档：

POST _query?format=txt
{
  "query": """
    FROM twitter, *:twitter
    | LIMIT 10
  """
}

跨集群丰富

ES|QL 中跨集群的丰富操作与本地丰富类似。如果丰富策略及其丰富索引在所有集群中都是一致的，则只需像没有远程集群一样编写丰富命令即可。在此默认模式下，ES|QL 可以在本地集群或远程集群上执行丰富命令，旨在最大限度地减少计算或集群间数据传输。确保策略在本地集群和远程集群上都存在且数据一致对于 ES|QL 产生一致的查询结果至关重要。

注意：当使用基于 API 密钥的安全模型的 ES|QL 时，此版本不支持跨集群丰富。

我们在 mac 电脑上执行如下的命令来创建 sample_data 索引：

PUT clientips
{
  "mappings": {
    "properties": {
      "client.ip": {
        "type": "keyword"
      },
      "env": {
        "type": "keyword"
      },
      "location": {
        "type": "keyword"
      }
    }
  }
}

PUT sample_data/_bulk
{"index": {}}
{"@timestamp": "2023-10-23T12:15:03.360Z", "client.ip": "172.21.2.162", "message": "Connected to 10.1.0.3", "event.duration": 3450233}
{"index": {}}
{"@timestamp": "2023-10-23T12:27:28.948Z", "client.ip": "172.21.2.113", "message": "Connected to 10.1.0.2", "event.duration": 2764889}
{"index": {}}
{"@timestamp": "2023-10-23T13:33:34.937Z", "client.ip": "172.21.0.5", "message": "Disconnected", "event.duration": 1232382}
{"index": {}}
{"@timestamp": "2023-10-23T13:51:54.732Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 725448}
{"index": {}}
{"@timestamp": "2023-10-23T13:52:55.015Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 8268153}
{"index": {}}
{"@timestamp": "2023-10-23T13:53:55.832Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 5033755}
{"index": {}}
{"@timestamp": "2023-10-23T13:55:01.543Z", "client.ip": "172.21.3.15", "message": "Connected to 10.1.0.1", "event.duration": 1756467}

我们在 Ubuntu 和 mac 机器上执行如下的命令：

PUT clientips
{
  "mappings": {
    "properties": {
      "client.ip": {
        "type": "keyword"
      },
      "env": {
        "type": "keyword"
      },
      "location": {
        "type": "keyword"
      }
    }
  }
}

我们在 Ubuntu 和 mac 机器上执行如下的丰富策略：

PUT /_enrich/policy/clientip_policy
{
  "match": {
    "indices": "clientips",
    "match_field": "client.ip",
    "enrich_fields": ["env", "location"]
  }
}

PUT /_enrich/policy/clientip_policy/_execute

我们在 Ubuntu 机器上执行如下的命令：

PUT clientips/_bulk
{ "index" : {}}
{ "client.ip": "172.21.0.5", "env": "Development", "location": "loc1" }
{ "index" : {}}
{ "client.ip": "172.21.2.113", "env": "QA", "location": "loc2" }
{ "index" : {}}
{ "client.ip": "172.21.2.162", "env": "QA", "location": "loc3" }
{ "index" : {}}
{ "client.ip": "172.21.3.15", "env": "Production", "location":"loc4" }
{ "index" : {}}
{ "client.ip": "172.21.3.16", "env": "Production", "location": "loc5" }

我们在 Ubuntu 机器上执行如下的查询：

POST _query?format=txt
{
  "query": """
    FROM mac:sample_data
    | KEEP client.ip, event.duration
    | EVAL client.ip = TO_STRING(client.ip)
    | ENRICH clientip_policy ON client.ip
"""
}