ES：模板-CSDN博客

本文链接：https://blog.csdn.net/hezuijiudexiaobai/article/details/147764372

目录标题

- 模板的作用
_cat/templates

模板的作用

Elasticsearch 索引模板的作用是定义索引的默认配置规则，当创建新索引时，Elasticsearch 会根据匹配的模板自动应用这些配置。以下是模板的主要作用：

1. 定义索引结构

设置字段映射（mappings）：
- 指定字段的数据类型（如text、keyword、date等）
- 定义字段的分析器（analyzer）和分词方式
- 控制字段是否可搜索、是否存储原文等

示例：

{
  "template": "logs-*",
  "mappings": {
    "properties": {
      "timestamp": { "type": "date" },
      "message": { "type": "text" }
    }
  }
}

2. 提供默认设置（settings）

配置索引参数：
- 分片数（number_of_shards）和副本数（number_of_replicas）
- 分析器（analysis）和索引刷新间隔
- 数据生命周期策略（ILM）

示例：

{
  "template": "logs-*",
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "index.refresh_interval": "5s"
  }
}

3. 模式匹配（Pattern Matching）

自动匹配索引名称：
- 使用通配符（*）或正则表达式匹配索引名称
- 例如：logs-* 匹配所有以 logs- 开头的索引
优先级控制：
- 模板可以设置优先级（priority），数值越高优先级越高
- 示例：
```
{
  "template": "logs-2024-*",
  "priority": 50
}
```

4. 实现数据一致性

确保字段统一：
- 避免不同索引中相同字段类型不一致的问题
- 例如：user_id 在所有索引中都定义为 keyword

5. 优化集群性能

预设合理的分片和副本：
- 根据数据量和查询需求优化分片数
- 控制副本数以平衡冗余和资源占用

6. 动态模板（Dynamic Templates）

自动处理未知字段：

定义规则动态生成字段映射
示例：所有以 date_ 开头的字段自动映射为 date 类型

{
  "template": "logs-*",
  "mappings": {
    "dynamic_templates": [
      {
        "dates": {
          "match_mapping_type": "string",
          "match": "date_*",
          "mapping": { "type": "date" }
        }
      }
    ]
  }
}

7. 数据生命周期管理（ILM）

自动管理索引生命周期：
- 定义索引从热数据到冷数据的过渡策略
- 例如：新索引保留30天，然后转为只读，最终删除

应用场景示例

日志系统：
- 使用 logs-* 模板统一管理所有日志索引
- 设置 number_of_shards=3 和 number_of_replicas=1
- 定义 timestamp 字段为 date 类型
监控数据：
- 使用 monitoring-* 模板控制分片数和生命周期
- 设置较短的生命周期（如7天）

总结

索引模板是Elasticsearch中自动化和标准化索引配置的关键工具，能够显著提升集群的可维护性和性能。通过合理的模板设计，可以：

确保数据结构一致
优化存储和查询性能
减少手动配置的工作量
实现数据的自动化生命周期管理

_cat/templates

curl -XGET "$es_url/_cat/templates?v"

这是在Elasticsearch中通过curl -XGET命令获取的索引模板（index templates）列表信息。以下是对这些模板的分析和解释：

模板列表结构：
- 每行代表一个Elasticsearch索引模板
- 包括模板名称、匹配的索引模式、版本号、创建时间（时间戳）
常见模板分类：

a) Elasticsearch内置模板：
- .ml-*（Machine Learning相关模板）：
  - .ml-notifications：匹配.ml-notifications*索引，用于存储ML任务的警报和通知
  - .ml-state：匹配.ml-state*索引，存储ML模型状态
  - .ml-config：匹配.ml-config*，存储ML配置信息
- .watch*（Watcher相关模板）：
  - .triggered_watches：匹配.triggered_watches*，存储已触发的监控任务
  - .watches：匹配.watches*，存储监控规则
  - .watcher-history-9*：监控历史记录模板
b) Logstash相关模板：
- logstash-template：匹配.logstash*索引
- monitoring-logstash：匹配.monitoring-logstash-6-*，用于Logstash监控数据
c) 安全相关模板：
- security-index-template：匹配.security-*，用于安全相关索引
- security_audit_log：匹配.security_audit_log*，审计日志模板
d) Monitoring相关模板：
- monitoring-kibana：匹配.monitoring-kibana-6-*
- monitoring-es：匹配.monitoring-es-6-*
- monitoring-beats：匹配.monitoring-beats-6-*
e) 自定义或第三方模板：
- qfrds-auditlog-template：匹配qfrds-*auditlog-*
- qfrds-kube-events-template：匹配kube-events*
- qfrds-template：匹配qfrds-*和kube-events*
关键信息解读：
- 时间戳（如6082399）是索引模板的创建时间
- 模板的版本号（如1000）表示模板的修订版本
- 模式匹配（pattern）显示该模板可以匹配的索引名称模式
可能的分析方向：
- 如果是排查数据索引问题，可以检查相应模板是否存在
- 如果需要修改索引设置（如分片数、副本数），可以更新对应模板
- 版本号较低的模板可能需要更新（如1000版本的security-index-template）

需要进一步帮助的话，可以告诉我具体想分析什么问题。比如：

某个特定模板的详细配置
模板的创建或更新方法
与索引映射（mappings）的关系分析
版本管理或冲突处理

_template/xxx

curl -XGET "$es_url/_template/qfrds-template"

在这里插入图片描述
这张截图显示的是通过curl命令获取Elasticsearch中名为qfrds-template的索引模板信息，返回的是一段JSON格式数据，以下是具体解释：

模板基本信息

"qfrds-template"：模板的名称，用于标识这个模板。
"order"：模板的优先级，数值越小优先级越高。当有多个模板匹配同一个索引时，优先级高的模板会先被应用。
"index_patterns"：定义了该模板匹配的索引名称模式，这里匹配qfrds-*和kube-events*开头的索引。

模板设置

"settings"：包含了索引的基本设置。
- "index"：索引相关设置。
  - "max_result_window"：设置为50000，表示允许的最大搜索结果窗口大小，默认是10000，增加这个值可以让一次搜索返回更多文档，但也可能增加内存和性能压力。
  - "number_of_shards"：设置为1，表示索引会被分成1个分片。

模板映射

"mappings"：定义了索引中文档的字段映射，指定了字段的类型和其他属性。
- "doc"：文档类型，在Elasticsearch 6.x版本中，文档类型是必需的。
  - "dynamic_date_formats"：定义动态日期格式，用于自动识别和解析不同格式的日期字段。
  - "dynamic_templates"：动态模板，用于自动为特定格式的数据生成映射。
    - string：动态模板的名称。
      - "match_mapping_type"：匹配的数据类型，这里是string。
      - "mapping"：定义匹配字段的映射属性，如norms、index和type。

字段映射属性

norms：用于计算字段的长度范数，影响文档得分，默认为false（不计算）。
index：是否将字段纳入索引，默认为true（纳入索引）。
type：字段的数据类型，如keyword或text，不同的类型会影响字段的存储和搜索方式。

常见字段映射示例

containerID：字段类型为keyword，norms为false，index为true，表示该字段会被索引，但不计算长度范数，且作为精确值存储。
sqltext：字段类型为text，norms为false，index为true，表示该字段会被索引，但不计算长度范数，且用于全文搜索。

别名设置

"aliases"：为空，表示该模板没有定义别名。

总之，这段信息展示了qfrds-template模板的详细配置，包括它匹配的索引模式、基础设置以及字段映射等，这些配置决定了匹配该模板的索引在创建时的初始状态和字段属性。

存储

模板存储位置

元数据（Metadata）存储：
- Elasticsearch 的模板信息确实存储在集群的元数据中。元数据包含了集群的配置信息，包括索引模板、索引映射、设置、别名和数据生命周期策略等。
内部系统索引：
- 模板信息存储在 Elasticsearch 的内部系统索引中，通常是以 .internal* 或类似的内部索引命名。这些内部索引是 Elasticsearch 用于存储系统级信息的专用索引。
查看方式：
- 普通用户不能直接访问这些内部索引。Elasticsearch 提供了专门的 API 来查看和管理模板信息。例如：
```
curl -XGET "http://localhost:9200/_template/<template_name>"
```
  或者：
```
curl -XGET "http://localhost:9200/_index_template/<template_name>"
```

元数据的作用

集群配置管理：
- 元数据存储了整个集群的配置信息，包括节点设置、索引模板、映射等。这些信息对于集群的正常运行和管理至关重要。
动态更新：
- 当创建新索引时，Elasticsearch 会根据匹配的模板自动应用配置。这确保了索引的一致性和自动化管理。
持久化存储：
- 元数据存储在集群的主节点（Master Node）上，并通过集群状态（Cluster State）机制同步到其他节点。这确保了元数据的高可用性和一致性。
备份和恢复：
- 元数据可以通过快照（Snapshot）功能进行备份和恢复。这在集群迁移、升级或灾难恢复时非常有用。

验证方法

可以通过以下命令验证模板信息的存储和访问方式：

查看所有模板：

curl -XGET "http://localhost:9200/_template"

查看特定模板：

curl -XGET "http://localhost:9200/_template/qfrds-template"

查看集群状态（包含元数据信息）：

curl -XGET "http://localhost:9200/_cluster/state"

通过这些命令，可以确认模板信息确实存储在元数据中，并且可以通过 Elasticsearch 提供的 API 进行访问和管理。

总结

Elasticsearch 的模板信息存储在集群的元数据中，元数据存储在内部系统索引中。普通用户不能直接访问这些内部索引，但可以通过 Elasticsearch 提供的 API 查看和管理模板信息。

元数据存储在主节点上，并通过集群状态同步到其他节点

以下是对“在Elasticsearch中，元数据存储在主节点上，并通过集群状态同步到其他节点，以确保高可用性和一致性”这一说法的官方说明：

在Elasticsearch中，主节点（Master Node）负责管理集群元数据，维护索引设置、映射、路由规则等信息。主节点会处理集群范围的操作，如创建或删除索引、跟踪集群中的节点以及管理集群的状态。集群状态由主节点进行更新，并通过广播机制同步到其他节点，以确保所有节点拥有相同的元数据视图。这种机制确保了元数据的高可用性和一致性。

Elasticsearch的集群状态同步机制如下：

主节点是集群中唯一可以更改集群状态的节点。当集群状态发生变化时，主节点会按批次处理这些更新，计算并合并后，将新的集群状态发布到其他节点。
主节点向其他节点广播更新后的集群状态，其他节点返回确认响应（ack）。一旦主节点从足够多的候选主节点收集到确认信号，便认为这个集群状态更新是可用的，然后广播消息指示其他节点应用提交状态。
每个节点接收到指示消息后，应用更新的状态，并将第二个确认发送回主节点。

官方文档中提到，主节点必须有一个持久化的path.data目录，因为这是存储集群元数据的地方。集群元数据描述了如何读取存储在数据节点上的数据，因此如果主节点丢失，存储在数据节点上的数据将无法读取。

总的来说，Elasticsearch通过主节点管理元数据，并利用集群状态同步机制确保所有节点拥有相同的元数据视图，从而保证了元数据的高可用性和一致性。

NUMBER_OF_MASTER

没有找到关于“Elasticsearch NUMBER_OF_MASTER”或“Elasticsearch master node configuration”的官方文档说明。不过，我可以为你提供Elasticsearch官方文档中关于主节点数量配置的相关信息。官方文档中提到的主节点配置相关的内容主要包括以下几点：

主节点的角色和职责：主节点负责管理集群范围的操作，如创建或删除索引、跟踪集群中的节点以及维护和更新集群状态等。
配置主节点数量：建议配置奇数个主节点，通常是3个，以避免“脑裂”问题（split brain problem）。可以将多个节点配置为可以成为主节点的候选节点，通过设置node.master: true来实现。
专用主节点的建议：对于大型集群，建议使用专用的主节点，这些节点不承担数据存储或数据处理的任务，仅负责主节点职责。
配置文件示例：在elasticsearch.yml配置文件中，可以通过设置node.master: true来指定某个节点可以成为主节点。
避免“脑裂”问题：通过设置discovery.zen.minimum_master_nodes参数，确保集群中大多数主节点同意选举结果，从而避免“脑裂”问题。

这些信息可以帮助你理解和配置Elasticsearch的主节点数量，以确保集群的高可用性和稳定性。如果你需要更详细的信息，可以参考Elasticsearch的官方文档或相关资源。

In Elasticsearch, the NUMBER_OF_MASTER setting usually refers to how many master-eligible nodes are needed to form a quorum and elect a master node. This is controlled by the setting:

在 Elasticsearch 中，NUMBER_OF_MASTER 设置通常指的是需要多少个符合主节点条件的节点才能组成法定人数并选举出一个主节点。这由以下设置控制：

`discovery.zen.minimum_master_nodes` (in versions prior to 7.x)

Definition: The minimum number of master-eligible nodes that must be visible in the cluster to form a quorum and elect a master.

Formula:

(number of master-eligible nodes / 2) + 1

So if you have 3 master-eligible nodes, the setting should be:

discovery.zen.minimum_master_nodes: 2

Important: This setting prevents split-brain scenarios, where two parts of a cluster could elect their own master.

For Elasticsearch 7.x and later

discovery.zen.minimum_master_nodes has been removed.
The election process is handled automatically by the Zen 2 discovery system.
Instead, you configure the initial master nodes at cluster bootstrapping with:
```
cluster.initial_master_nodes: ["node1", "node2", "node3"]
```

Would you like guidance for a specific Elasticsearch version or deployment setup?

在 Elasticsearch 的官方文档中，并没有名为 NUMBER_OF_MASTER 的配置参数。然而，关于集群中主节点（master node）的配置，官方提供了以下相关设置：

1. `cluster.initial_master_nodes`（用于集群引导）

描述：在新集群启动时，指定初始的主节点列表，以便进行集群引导。
配置示例：

  cluster.initial_master_nodes:
    - node-1
    - node-2
    - node-3

注意：该设置仅在集群首次启动时需要配置，集群引导完成后应移除该设置，以避免误启动新的集群。 (Elastic)

2. `discovery.seed_hosts`（用于节点发现）

描述：指定集群中其他节点的地址，供新节点在加入集群时进行发现。
配置示例：

  discovery.seed_hosts:
    - 192.168.1.10
    - 192.168.1.11

(Elastic)

注意：该设置用于节点之间的相互发现，确保新节点能够找到并加入现有集群。

3. `node.master`（节点角色配置）

描述：指定当前节点是否为主节点候选者。
配置示例：

  node.master: true

注意：该设置用于指定节点是否可以作为主节点候选者，影响集群的主节点选举。(Mitratech Success Center)

4. `cluster.no_master_block`（无主节点时的操作限制）

描述：指定在集群没有活动主节点时，哪些操作会被拒绝。
配置示例：

  cluster.no_master_block: write