Elasticsearch配置文件（elasticsearch(2)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

节点名称同理,可自动生成也可手动配置.

node.name: node-1

允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master.

node.master: true

允许该节点存储数据(默认开启)

node.data: true

配置文件中给出了三种配置高性能集群拓扑结构的模式,如下：

1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器

node.master: false

node.data: true

node.ingest: false

2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器

node.master: true

node.data: false

node.ingest: false

3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等

node.master: false

node.data: false

node.ingest: true (可不指定默认开启)

4. 仅作为协调器

node.master: false

node.data: false

node.ingest: false

监控集群状态有一下插件和API可以使用:

Use the Cluster Health API [http://localhost:9200/_cluster/health], the

Node Info API [http://localhost:9200/_nodes] or GUI tools # such as http://www.elasticsearch.org/overview/marvel/,

http://github.com/karmi/elasticsearch-paramedic,

http://github.com/lukas-vlcek/bigdesk and

http://mobz.github.com/elasticsearch-head to inspect the cluster state.

A node can have generic attributes associated with it, which can later be used

for customized shard allocation filtering, or allocation awareness. An attribute

is a simple key value pair, similar to node.key: value, here is an example:

每个节点都可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤

node.rack: rack314

默认情况下，多个节点可以在同一个安装路径启动，如果你想让你的es只启动一个节点，可以进行如下设置

node.max_local_storage_nodes: 1

#################################### Index ####################################

设置索引的分片数,默认为5

#index.number_of_shards: 5

设置索引的副本数,默认为1:

#index.number_of_replicas: 1

配置文件中提到的最佳实践是,如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去

同时,如果增加副本数量可以有效的提高搜索性能

需要注意的是,“number_of_shards” 是索引创建后一次生成的,后续不可更改设置

“number_of_replicas” 是可以通过API去实时修改设置的

#################################### Paths ####################################

配置文件存储位置

path.conf: /path/to/conf

数据存储位置(单个目录设置)

path.data: /path/to/data

多个数据存储位置,有利于性能提升

path.data: /path/to/data1,/path/to/data2

临时文件的路径

path.work: /path/to/work

日志文件的路径

path.logs: /path/to/logs

插件安装路径

path.plugins: /path/to/plugins

#################################### Plugin ###################################

设置插件作为启动条件,如果一下插件没有安装,则该节点服务不会启动

plugin.mandatory: mapper-attachments,lang-groovy

################################### Memory ####################################

当JVM开始写入交换空间时（swapping）ElasticSearch性能会低下,你应该保证它不会写入交换空间

设置这个属性为true来锁定内存,同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过 ulimit -l unlimited 命令

bootstrap.mlockall: true

确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch

注意:内存也不是越大越好,一般64位机器,最大分配内存别才超过32G

############################## Network And HTTP ###############################

设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0

network.bind_host: 192.168.0.1

设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址

network.publish_host: 192.168.0.1

同时设置bind_host和publish_host上面两个参数

network.host: 192.168.0.1

设置节点间交互的tcp端口,默认是9300

transport.tcp.port: 9300

设置是否压缩tcp传输时的数据，默认为false,不压缩

transport.tcp.compress: true

设置对外服务的http端口,默认为9200

http.port: 9200

设置请求内容的最大容量,默认100mb

http.max_content_length: 100mb

使用http协议对外提供服务,默认为true,开启

http.enabled: false

###################### 使用head等插件监控集群信息，需要打开以下配置项 ###########

http.cors.enabled: true

http.cors.allow-origin: “*”

http.cors.allow-credentials: true

################################### Gateway ###################################

gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统

gateway.type: local

下面的配置控制怎样以及何时启动一整个集群重启的初始化恢复过程

(当使用shard gateway时,是为了尽可能的重用local data(本地数据))

一个集群中的N个节点启动后,才允许进行恢复处理

gateway.recover_after_nodes: 1

设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起

gateway.recover_after_time: 5m

设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合),

立即开始恢复过程(不等待recover_after_time超时)

gateway.expected_nodes: 2

############################# Recovery Throttling #############################

下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配

设置一个节点的并行恢复数

1.初始化数据恢复时,并发恢复线程的个数,默认为4

cluster.routing.allocation.node_initial_primaries_recoveries: 4

2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2

cluster.routing.allocation.node_concurrent_recoveries: 2

设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好)

indices.recovery.max_bytes_per_sec: 20mb

设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5

indices.recovery.concurrent_streams: 5

注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度

################################## Discovery ##################################

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点.默认为1,对于大的集群来说,可以设置大一点的值(2-4)

discovery.zen.minimum_master_nodes: 1

探查的超时时间,默认3秒,提高一点以应对网络不好的时候,防止脑裂

discovery.zen.ping.timeout: 3s

For more information, see

http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html

设置是否打开多播发现节点.默认是true.

当多播不可用或者集群跨网段的时候集群通信还是用单播吧

discovery.zen.ping.multicast.enabled: false

这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测

discovery.zen.ping.unicast.hosts: [“host1”, “host2:port”]

Slow Log部分与GC log部分略,不过可以通过相关日志优化搜索查询速度

################ X-Pack ###########################################

官方插件 相关设置请查看此处

https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html

############## Memory(重点需要调优的部分) ################

Cache部分:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！