背景
最近几天一直受到ElasticSearch 的master的cpu标高的情况,Elastsearch的健康状态为yellow,而且登录Kibana一直在打转转
于是我登录服务器查看日志到底发生了什么。
登录服务器查看日志
日志如下:
分析:
从这个字母意思可以看出,日志太大了超过了系统的限制.
通过google得出结论是:
jvm 堆内存不够当前查询加载数据所以会报 data too large, 请求被熔断,indices.breaker.request.limit 默认为 jvm heap 的 60%
解决方案:
加大某个节点的jvm内存,重启es服务
操作
- 修改jvm内存
vim /opt/application/elk/elastic-04/config/jvm.options
-Xms12g
-Xmx12g
- 重启
/opt/application/elk/elastic-04/bin/elasticsearch -d
到此,Kibana也能正常登录,Unassigned Shards 也逐步减少,最后健康状态恢复为绿色