es集群节点数和分片数关系_Elasticsearch 必知必会的默认值

一、ElasticSearch 简介

1、Elasticsearch 是什么

Elasticsearch 是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

主要特点:分布式的实时文件存储，每个字段都被索引并可被搜索

分布式的实时分析搜索引擎–做不规则查询

可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据

Elasticsearch 使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful API 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。

2、ES能做什么？

全文检索(全部字段)、模糊查询(搜索)、数据分析(提供分析语法，例如聚合)

3、与其他数据存储比较与其他数据存储比较

二、Elasticsearch 必知必会的默认值

1、参数类型以及静态和动态参数的区别？

1.1、参数类型

分为：集群级别参数、索引级别、Maping级别参数等。

(1)集群级别参数

举例1 ：cluster.max_shards_per_node，前缀是：cluster.*，修改针对集群生效

举例2：indices.query.bool.max_clause_count，需要在: elasticsearch.yml 配置文件中设置，重启 ES 生效

(2)索引级别参数

举例：index.number_of_shards，前缀是：index.*，修改针对索引生效

2、区分静态参数和动态参数Elasticsearch 主分片数在索引创建之后，不可以修改(除非reindex)

index.number_of_shards 是静态参数。但副本分片数，可以动态的借助：update-index-settings API 任意调整。

index.number_of_replicas 是动态参数。

3、ES 集群 bool 类型默认支持最大子句个数？适用场景：N 多子句的bool 组合查询，实现类似规则过滤的功能。

参数：indices.query.bool.max_clause_count。

参数类型：静态参数(需要在elasticsearch.yml 中设置)

默认最大值：1024。

限制原因：为了防止搜索子句过多而占用过多的CPU和内存，导致集群性能下降 。

4、ES 集群数据节点支持默认分片数个数？适用场景：大数据量的集群分片选型。

参数：cluster.max_shards_per_node

默认最大值：1000(7.X版本后)。

扩展知识：

(1)超大规模集群会遇到这个问题：

1)每个节点可以存储的分片数和可用的堆内存大小成正比关系。

2)Elastic 官方博客文章建议：堆内存和分片的配置比例为1:20，举例：30GB堆内存，最多可有600个分片。

<