Elasticsearch 出坑

一.Elasticsearch优化

1、内存优化

在config/jvm.options中进行配置
修改配置项为尽量大的内存：
ES_MIN_MEM=8g
ES_MAX_MEM=8g
两者最好改成一样的，否则容易引发长时间GC（stop-the-world）

elasticsearch默认使用的GC是CMS GC
如果你的内存大小超过6G，CMS是不给力的，容易出现stop-the-world
建议使用G1 GC
注释掉：
JAVA_OPTS=”$JAVA_OPTS -XX:+UseParNewGC”
JAVA_OPTS=”$JAVA_OPTS -XX:+UseConcMarkSweepGC”

JAVA_OPTS=”$JAVA_OPTS -XX:CMSInitiatingOccupancyFraction=75″
JAVA_OPTS=”$JAVA_OPTS -XX:+UseCMSInitiatingOccupancyOnly”
修改为：
JAVA_OPTS=”$JAVA_OPTS -XX:+UseG1GC”
JAVA_OPTS=”$JAVA_OPTS -XX:MaxGCPauseMillis=200″

如果G1 GC优点是减少stop-the-world在几率，但是CPU占有率高。

2、合理配置主节点和数据节点

配置文件：conf/elasticsearch.yaml
node.master: true
node.data: true

1) 当master为false，而data为true时，会对该节点产生严重负荷；
2) 当master为true，而data为false时，该节点作为一个协调者；
3) 当master为false，data也为false时，该节点就变成了一个负载均衡器。

3、设置合理的刷新时间

建立的索引，不会立马查到，这是为什么elasticsearch为near-real-time的原因
需要配置index.refresh_interval参数，默认是1s。

可以直接写到conf/elasticsearch.yaml文件中
index.refresh_interval：1s

也可以调用接口配置

elasticsearch的准实时(near real-time)查询

elasticsearch是基于lucene的，lucene是可以做到实时的，就是创建索引之后，立即能查询到。
但是这样，要么是牺牲索引的效率，每次都索引之后都刷新，要么就是牺牲查询的效率每次查询之前都进行刷新。

索引之后进行刷新是通过：

elasticClient.prepareIndex("indexName", "Person")
                    .setSource(
                        XContentFactory.jsonBuilder()
                        .startObject()
                            .field("name", "zhangsan")
                            .field("desc", "you are good chaoji good")
                            .field("age", 18)
                            .field("height", 256789l)
                            .field("sex", "M")
                            .field("bool", true)
                            .field("double", 33.6f)
                            .field("date", new Date(16554755464l))
                        .endObject())
                      .setRefresh(true)
                  .execute().actionGet();

进行搜索前进行刷新

elasticClient.admin().indices().refresh(new RefreshRequest("indexName"));

无论哪一种，都会让你的性能下降10倍以上，所以只能采取一种折中的方案，每隔n秒自动刷新，这样你创建索引之后，最多在ns之内肯定能查到。
这就是所谓的准实时(near real-time)查询。
构建客户端的时候设置

Settings settings = ImmutableSettings.settingsBuilder()
             .put("client.transport.sniff", true)
             .put("index.refresh_interval", "1s")
             .put("cluster.name","elasticsearch")
             .build();
 
TransportClient client = new TransportClient(settings);

这样所有新建的索引都使用这个刷新频率。

二.Elasticsearch5.0 安装问题集锦

elasticsearch 5.0 安装过程中遇到了一些问题，通过查找资料几乎都解决掉了，这里简单记录一下 ，供以后查阅参考，也希望可以帮助遇到同样问题的你。

问题一：警告提示

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: 

java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in
at org.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]

报了一大串错误，其实只是一个警告。

解决：使用心得linux版本，就不会出现此类问题了。

 

问题二：ERROR: bootstrap checks failed

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]

解决：切换到root用户，编辑limits.conf 添加类似如下内容

vi /etc/security/limits.conf 

添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

 

问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解决：切换到root用户，进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf 

修改如下内容：

* soft nproc 1024

#修改为

* soft nproc 2048

 

问题四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决：切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf 

添加下面配置：

vm.max_map_count=655360

并执行命令：

sysctl -p

 

问题五：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

解决：修改切换到root用户修改配置limits.conf 添加下面两行

命令:vi /etc/security/limits.conf

*        hard    nofile           65536
*        soft    nofile           65536
切换到es的用户。

 

然后，重新启动elasticsearch，即可启动成功。

六、后台运行

最后还有一个小问题，如果你在服务器上安装Elasticsearch，而你想在本地机器上进行开发，这时候，你很可能需要在关闭终端的时候，让Elasticsearch继续保持运行。最简单的方法就是使用nohup。先按Ctrl + C，停止当前运行的Elasticsearch，改用下面的命令运行Elasticsearch

nohup./bin/elasticsearch&

这样，你就可以放心地关闭服务器终端，而不用担心Elasticsearch也跟着关闭了。