elk
文章平均质量分 89
我突然释怀的笑
这个作者很懒,什么都没留下…
展开
-
Filebeat收集Elasticsearch7.3版本的慢日志
Elasticsearch7.3版本的慢日志收集为什么要收集: 最近由于线上的业务es的查询的出现了高负载,查询返回很慢的情况,开发经常找我们运维去拿日志,不管是es的节点集群日志,还是慢查询日志,还是索引的慢日志。在集群规模很小的时候可以写写脚本或者手动download下来就完事了,毕竟节点少。节点少也就意味着数据量小,业务量也不大。但是随着业务的增长,节点从之前的三个节点突增到了现在的18个节点的es集群。集群的日志量也比之前多的太多,开发看起来也不方便。像这种日志收集应该在很早之前就要弄掉的,原创 2021-01-13 14:39:14 · 712 阅读 · 0 评论 -
es7.3的性能参数调优
1、es集群的索引分片设计不合理,导致分片数很多,监控压力也增大,严重影响到了es集群的稳定性。只能临时关闭监控索引,或者调整监控频率1)关闭监控PUT /_cluster/settings?pretty{"persistent": {"xpack.monitoring.collection.enabled": false}}2)监控频率调整 动态参数调整es的监控频率PUT /_cluster/settings{"persistent" : {"xpack.monitor原创 2020-12-09 15:57:14 · 2818 阅读 · 0 评论 -
es7.3生产环境问题排查解决
1、 es集群打开分片数不足(1)错误描述:Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [998]/[1000] maximum shards open;(2)解决方法:通过API设置集群分片数量,永久设置PUT /_cluster/settin...原创 2020-03-13 14:56:03 · 1798 阅读 · 0 评论 -
es7.3基础学习
1、概述es是基于lucene的分布式,高扩展的数据搜索引擎;主要用于kafka->logstash->es->kibana的数据收集、存储、数据的可视化。2、名词释义(1) cluster:集群,集群中有master节点、data节点、协调节点、Igest节点(2) shards:索引的分片默认一个索引五个分片一个副本,分片一旦创建完成,就能在动态创建分片了,停机也没用...原创 2020-03-13 14:25:57 · 271 阅读 · 0 评论 -
logstash7.3消费性能问题排查及调优
1、logstash吞吐量logstash的拉去速率太慢,吞吐量存在瓶颈,影响es的写入速率修改配置文件logstash.yml每次发送的事件数pipeline.batch.size: 2048发送延时pipeline.batch.delay: 50监视配置文件的改变,并且当配置文件被修改以后自动重新加载配置文件config.reload.automatic: true为了检查配...原创 2020-03-13 14:30:06 · 2936 阅读 · 0 评论