ES主分片和副本分片

在 Elasticsearch 中，主分片的数量在创建索引时设置，并且不能在索引创建后更改。主分片的数量因索引而异，对于每个索引，可以根据实际需要进行调整。

主分片数量的设置

• 默认值：

  • 在 Elasticsearch 中，默认的主分片数量是 1。你可以在创建索引时指定主分片的数量。

• 设置限制：

  • 主分片的数量不是固定不变的，集群可以支持更多的主分片，但应该根据预期的数据量、查询需求和硬件资源进行合理的规划。
  • 在 Elasticsearch 7.x 及更高版本中，主分片的数量可以设置为 1 到 1024 个，但通常建议根据集群规模以及数据量来设置较小的数量（例如 5 或 10 个）。

选择主分片数量的考虑因素

1. 数据量：如果你预期要处理大量数据，增加主分片的数量可以提高并发写入和读取的能力。
2. 硬件资源：主分片太多会消耗更多的内存和 CPU，因此需要根据硬件资源的情况进行合理配置。
3. 查询性能：主分片数量过多可能导致查询性能下降，因为每个查询都需要访问多个分片。

创建索引时设置主分片数量

在创建索引时，可以通过设置 number_of_shards 来指定主分片的数量。例如：

总结

• 主分片的数量：可以设置为 1 到 1024 之间的任意值，但具体数量应根据数据量、硬件资源和查询需求来决定。
• 不可更改：主分片的数量在索引创建后无法更改。
• 性能评估：合理评估主分片的数量，为性能和资源利用权衡做出最佳决策。

怎么理解主分片，数据分到各个节点吗

在 Elasticsearch 中，**主分片（Primary Shards）**是存储数据的核心元素，它们在集群中负责处理具体的存储和搜索请求。以下是对主分片的详细理解，包括数据如何分布到各个节点。

1. 主分片的定义

• 主分片 是原始数据的分区。每个索引在创建时会指定一定数量的主分片，主分片是该索引实际存储数据的地方。
• 每个主分片是一个独立的 Lucene 索引，它负责处理所有与该分片相关的数据操作（例如插入、更新、删除和查询）。

2. 数据分布

• 当你向 Elasticsearch 中索引数据时，数据会根据分片规则被分配到不同的主分片。
• 每个主分片可以被分配到不同的节点上，从而实现数据的水平扩展和负载均衡。
• Elasticsearch 使用一个哈希算法来决定数据将存储在哪个主分片（通常基于文档的 ID）。

3. 副本分片

• 每个主分片可以有一个或多个副本分片（Replica Shards），副本是主分片的完整拷贝。
• 副本分片提供了故障转移和负载均衡的能力，因为它们也可以处理搜索请求。
• 如果某个节点或它上面的主分片出现故障，副本可以接管工作，确保数据的可用性。

4. 分片和节点的关系

• 主分片的分配：当创建索引时，Elasticsearch 会根据集群的状态和配置将主分片分配到可用的节点上。
• 负载均衡：为了提高性能，Elasticsearch 会尽量将主分片均匀分布到集群中的多个节点上。
• 扩展性：如果需要更大的存储空间或处理能力，可以通过增加节点和调整主分片数量来扩展 Elasticsearch 集群。

5. 示例

假设你创建了一个具有 3 个主分片的索引，并且集群中有 3 个节点（Node1、Node2、Node3）。在这种情况下，主分片可能按照以下方式分配：

• 主分片 0 → Node1
• 主分片 1 → Node2
• 主分片 2 → Node3

如果对应的副本分片存在，它们可能会在不同的节点中分配，如：

• 副本分片 0（对应主分片 0）→ Node2
• 副本分片 1（对应主分片 1）→ Node3
• 副本分片 2（对应主分片 2）→ Node1

总结

• 主分片是数据存储的基础单位，负责持有和处理 Elasticsearch 中存储的数据。
• 数据通过分片机制分配到各个节点，从而实现负载均衡和高可用性。
• 通过合理配置主分片和副本分片的数量，可以有效提高系统的性能和稳定性。

副本分片一旦索引创建可以修改吗

在 Elasticsearch 中，一旦索引创建后，你仍然可以修改副本分片的数量。具体说来，你可以通过更新索引的设置来更改副本的数量，而不需要重新创建索引。

修改副本分片数量的步骤

1. 更新副本数量：
   你可以使用 PUT 请求来更新索引的副本数量。例如，如果你想将副本数量设置为 1，可以执行以下命令：

        2.验证设置：
你可以通过以下命令来确认副本设置已经更新：

注意事项

• 不可增加主分片数量：与副本分片不同，主分片的数量在索引创建后是无法修改的。
• 副本数量的上限：副本数量必须小于或等于集群中节点的数量。例如，如果你的集群只有 3 个节点，那么每个主分片最多只能有 2 个副本。
• 瞬时影响：当你增加副本分片的数量时，Elasticsearch 会在后台重新分配副本，因此这可能会对性能产生瞬时影响，但通常不会导致服务中断。

总结

• 副本分片数量可以在索引创建后进行修改，为索引提供更高的可用性和负载均衡能力。
• 理想情况下应根据集群的规模、数据量和负载情况合理调整副本数量。