5.ES配置文件梳理详细解释

1.安装插件：

分词器IK：

ik_smart【粗】 和 ik_max_word【细】 是两个不同的拆分粒度，我们一般在生成索引设置细粒度，查询设置粗粒度。

1、下载相同版本的分词器插件 是zip包
2、在es的安装包下找到plugins文件，解压
3、修改文件夹名字为ik
4、重启es

注：词库一般在ik的config下面，.dic收尾的都是

2.目录结构说明

elasticsearch
|-- bin # 脚本文件
|-- conf # 配置文件
|-- |-- config.ini # ES安装配置文件
|-- |-- elasticsearch.ini # ES yml配置文件模板
|-- root # ES安装根目录
|   |-- bin # ES自带执行文件
|   |-- config # ES自带配置文件
|   |-- lib # ES lib
|   |-- modules # ES组件
|   |-- plugins # ES插件
|   |   |-- analysis-ik # ik分词器
|   |   `-- es-auth # es权限控制

3.安装完成后目录

/home/es/software/elasticsearch
|-- bin # 脚本文件
|-- conf # 配置文件
|-- root # ES安装根目录
|   |-- bin
|   |-- config
|   |-- ES0 # ES0节点实例
|   |   |-- bin
|   |   |-- config
|   |   |   |-- elasticsearch.yml # ES0节点配置文件
|   |   |   |-- es-auth
|   |   |   |   `-- config
|   |   |   `-- scripts
|   |   |-- lib -> /home/es/software/elasticsearch/root/lib
|   |   |-- modules -> /home/es/software/elasticsearch/root/modules
|   |   `-- plugins -> /home/es/software/elasticsearch/root/plugins
|   |-- ES1
|   |-- ES2
|   |-- ES3
|   |-- ES4
|   |-- ES5
|   |-- ES6
|   |-- ES7
|   |-- ES8
|   |-- ES9
|   |-- lib
|   |-- modules
|   |-- plugins
|-- run # 脚本运行lock文件

3.配置说明

1 config.ini配置

# ES集群名称（建议配置内容）
es_cluster_name=
 
# ES集群hostname名单(建议不要使用ip)，不同主机名空格隔开（建议配置内容）
es_host_list=""
 
# 每台机器ES节点数
es_node_num=5
 
# 每个节点数据目录数
es_node_path_num=2
 
# 每个ES节点的data存放目录（不同节点分号';'隔开，同一节点不通目录逗号','隔开）（建议配置内容）
es_data_path_list=
 
 
# ES Java 垃圾收集器（不可更改）
es_java_gc=cms
# ES Java 版本（不可更改）
es_jdk_version=jdk1.8.0_181
# ES Java 堆内存大小（单位：m）（可配置内容）
es_heap_size=
# ES Java CMS 垃圾收集器老年代（old）开始GC百分比（不可更改）
es_heap_fraction=75
# ES Java 年轻代（young）大小（单位：m）（可配置内容）
es_heap_mn=
# ES Java eden/survivor 大小比例（不可更改）
es_heap_ratio=8
# ES Java 直接缓冲区大小（单位：m，不可更改）（可配置内容）
es_heap_direct=2048
 
 
# ES HTTP 端口（不可更改）
es_http_port=9200
# ES TCP 端口（不可更改）
es_tcp_port=9300
# ES 安装目录（不可更改）
es_cluster_home=/home/es/software/elasticsearch
# ES 节点根目录（不可更改）
es_root_dir=$es_cluster_home/root
# ES 集群配置文件目录（不可更改）
es_conf_dir=$es_cluster_home/conf
# ES 节点监控标志位（打开：true；关闭：false）（不可更改）
es_node_monitor=true
# ES 启动用户（不可更改）
es_run_user=es
# ES Lucene 加载词典标志位（打开：true；关闭：false）（不可更改）
es_load_term_dict=false
# ES Lucene 内存中加载词典文件时长，单位：分钟（不可更改）
es_dict_mem_retain_minutes=10080
# ES 日志目录（不可更改）
es_common_log_path="$es_data_path_prefix"01/$es_cluster_name/logs
# ES 脚本日志目录（不可更改）
es_script_log_path=$es_common_log_path/script
# ES 节点使用processors数量
es_processors=
# xpack 安全认证开关
xpack_security_enabled=false
# xpack 监控开关
xpack_monitoring_enabled=false
# xpack watcher 开关
xpack_watcher_enabled=false
# xpack graph 开关
xpack_graph_enabled=false
# xpack 认证 LDAP 地址
xpack_ldap1_url=
# xpack LDAP 相关参数（不可更改）
xpack_ldap1_bind_cn=cn=admin,dc=xitong,dc=qihoo,dc=com
xpack_ldap1_bind_password=root123456
xpack_user_search_base_dn=dc=xitong,dc=qihoo,dc=com
xpack_user_search_attribute=cn
xpack_group_search_base_dn=dc=xitong,dc=qihoo,dc=com
# ES 索引日期格式化标准
date_format=%Y%m%d
# ES 索引日期模式
date_pattern=20[0-9]{2}[0-9]{2}[0-9]{2}
# ES 索引优化后重新开闭标志位
reopen_index_after_optimize=false
# ES 索引merge退出时间，单位：小时
es_merge_quit_after=7
# ES 根据segment关闭索引
close_index_enabled=false
segment_memory_ratio=0.3
index_retain_days=7
date_interval=""

2 elasticsearch.ini配置

# 集群名称
cluster.name: "$es_cluster_name"
# 节点名称
node.name: es.$es_local_addr.$i
# 是否有资格被选为主节点
node.master: $node_master
# 该节点是否存储索引数据，默认为true
node.data: $node_data
# 索引数据的存储路径，可以设置多个，逗号隔开
path.data: $path_data
# 日志文件的存储路径
path.logs: $path_logs
# tcp端口
transport.tcp.port: $(expr $es_tcp_port + $i)
# HTTP端口
http.port: $(expr $es_http_port + $i)
# 跨域资源共享开关
http.cors.enabled: true
# 允许的请求源
http.cors.allow-origin: http://$es_master_node
# bootstrap内存锁
bootstrap.memory_lock: false
# 绑定服务的主机地址
network.host: $es_local_addr,127.0.0.1
# 集群中自动发现其他节点的ping超时时间
discovery.zen.ping_timeout: 60s
# 故障检测：ping的时间间隔
discovery.zen.fd.ping_interval: 60s
# 故障检测：ping响应超时时间
discovery.zen.fd.ping_timeout: 60s
# 故障检测：ping重试次数
discovery.zen.fd.ping_retries: 10
# 形成集群可见node_master节点的最小数量
discovery.zen.minimum_master_nodes: $es_minimum_master_node
# 节点发现的主机列表
discovery.zen.ping.unicast.hosts: $es_unicast_hosts
# 进行恢复需要数据节点或主节点加入集群的数量
gateway.recover_after_nodes: $es_total_node_num
# 集群期待的节点数量没有达到，进行恢复的等待时间
gateway.recover_after_time: 5m
# 集群中期待的节点（数据节点、主节点）数量
gateway.expected_nodes: $es_total_node_num
# 索引存储节流:每秒最大字节数（6.0中不再使用）
indices.store.throttle.max_bytes_per_sec: 5120mb
# 索引恢复：每秒最大字节数
indices.recovery.max_bytes_per_sec: 2000mb
# fielddata的最大缓存量
indices.fielddata.cache.size: 30%
# fielddata的断路器限制
indices.breaker.fielddata.limit: 35%
# 请求断路器的限制
indices.breaker.request.limit: 20%
# 父级断路器总限制
indices.breaker.total.limit: 55%
# 启用或禁用分配特定种类的分片
cluster.routing.allocation.enable: $es_cluster_routing_flag
# 分片分配磁盘限制
cluster.routing.allocation.disk.threshold_enabled: true
# 磁盘使用的低水位，大于该值，ES不会将新分片分配到该节点
cluster.routing.allocation.disk.watermark.low: 97%
# 磁盘使用的高水位，大于该值，ES尝试将该节点的分片移动到其他节点
cluster.routing.allocation.disk.watermark.high: 97%
# ES检查集群中每个节点磁盘用量的频率
cluster.info.update.interval: 3m
# 初始化数据恢复的并发恢复线程数
cluster.routing.allocation.node_initial_primaries_recoveries: 100
# 添加删除节点或负载均衡时并发恢复线程的个数
cluster.routing.allocation.node_concurrent_recoveries: 20
# 执行分片平衡的最小优化值（非浮点数）
cluster.routing.allocation.balance.threshold: 3
# 节点分配分片总数权重（浮点数）
cluster.routing.allocation.balance.shard: 0.45f
# 节点分配每个索引的分片数的权重 （浮点数）
cluster.routing.allocation.balance.index: 0.55f
# 线程池批量操作队列大小
thread_pool.bulk.queue_size: 500
# 节点的机器ID
node.attr.machine_id: $es_local_addr
# 搜索请求命中分片的限制
action.search.shard_count.limit: 12000
# ES权限控制目录
#es.auth.dir: "$es_auth_dir"
# ES权限配置目录
#es.auth.config.dir: "$es_auth_config_dir"
# ES权限控制开关
#es.auth.enabled: $es_auth_enabled
# 索引缓冲区的最小值
indices.memory.min_index_buffer_size: 5gb
# 索引缓冲区的最大值
indices.memory.max_index_buffer_size: 5gb
# 是否自动创建索引
action.auto_create_index: false
# 返回结果是否高亮所有字段
highlight.all: $highlight_all
# create_index_action前缀开关
rest.api.prefix.enabled: true