Elasticsearch集群调优

一、服务器硬件以及内存调优

1、调整交换区的swap大小

关闭系统的交换区，禁用linux的虚拟内存，尽量让我们的ES禁用虚拟内存。

• 因为如果使用虚拟内存，就会将内存当中过多的数据缓存到磁盘上面去，可以简单理解为就是拿了一块磁盘出来当做内存使用，这样当然性能就会急剧下降，所以在实际工作当中我们一般的都会尽量关闭linux的交换区的内存空间
• 关闭交换区的空间大小 ：swapoff -a
• 如果不能完全禁用swap交换区的空间大小，我们可以调整设置，尽量减少swap的空间，通过调整交换区内存空间大小，来调整我们的交换比例。
• swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换，更高参数值会使内核更多的去使用交换空间。默认值为60。
  • vim /etc/sysctl.conf
    vm.swappiness=1
• 如果没法更改我们的swap的参数值，那么我们也可以在es当中配置，禁止JVM堆内存当中的数据交换到磁盘当中去
  • cd /kkb/install/elasticsearch-6.7.0/config/
    vim elasticsearch.yml
    bootstrap.memory_lock:true

2、调整普通用户打开文件数以及线程数的限制

普通用户打开文件的最大数限制

• ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

三台机器使用es用户执行以下命令解除打开文件数据的限制

sudo vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

普通用户启动线程数限制
三台机器执行以下命令打开文件最大数

sudo vi /etc/sysctl.conf

vm.max_map_count=655360
fs.file-max=655360

执行以下命令生效

sudo sysctl -p

注意：以上两个问题修改完成之后，一定要重新连接linux生效。关闭secureCRT或者XShell工具，然后重新打开工具连接linux即可

3、调整ES的JVM堆内存大小

官方建议ES的堆内存大小不要超过32GB，超过32GB之后，反而会造成大量的内存的浪费，

• 所以我们在ES当中，JVM堆内存大小，尽量调整成小于32GB，
• 其中堆内存大小与系统内存大小，尽量五五分，例如一台服务器64GB，那么我们可以给ES堆内存大小设置为32GB，剩下的32GB留作OS cache ，当做系统内存留给lucene来使用（因为ES底层也是基于lucene的）
• 调整堆内存大小的官方建议
  https://www.elastic.co/guide/cn/elasticsearch/guide/current/heap-sizing.html

cd /kkb