【大数据】ELK 需要注意的问题

狮子王量化

于 2019-07-02 09:54:47 发布

阅读量857

点赞数 1

本文链接：https://blog.csdn.net/CSDN_fzs/article/details/94431387

版权

大数据专栏收录该内容

10 篇文章 7 订阅 ¥39.90 ¥99.00

订阅专栏

本文主要讨论了使用ELK(Elasticsearch, Logstash, Kibana)进行大数据处理时遇到的一些关键问题及解决方案。包括不能用Windows自带编辑器打开配置文件，X-pack邮件报警端口选择，非root启动Elasticsearch，处理node.lock和_state文件，解决Kibana搜索失败和Grok解析限制等。同时提到了Logstash的配置优化，如调整pipeline线程数、批量大小和延迟，以及避免在同一Logstash上配置多个相同Kafka消费实例。对于数据丢失或延迟，提供了从Logstash、Kafka到Filebeat的排查思路。" 128634099,8294589,Cypress框架详解：超越Selenium的速度与控制力,"['自动化', '前端开发', '测试工具', 'Cypress', 'Selenium']

摘要由CSDN通过智能技术生成

1.不能用windows自带编辑器打开任何配置文件，建议用Sublime。
2.X-pack邮件报警不能用564端口，es不支持，建议用25或587端口。
3.安装所有应用是时，用到的压缩包应该是未经过解压安装的。
4.要在非root下启动es
5.es/nodes/0 node.lock和 _state 文件记录es集群当前状态，要替换es节点时应删除
6.删除.security-6这个index，即可重置index密码
7.停掉kafka应该用./bin/kafka-server-stop.sh，不能用kafka不能用kill -9，kill -9 暴力停止会可能导致数据丢失
8.kibana搜索时出现5 of 30 shards failed，mapping conflict，可以考虑重建index pattern，但是日志上面配了 visualize 的话，会导致这些图表不可用
9.grok中不能出现多个相同的字段名
10.logstash优化
   # pipeline线程数，官方建议是等于CPU内核数
   pipeline.workers: 24
   # 实际output时的线程数
   pipeline.output.workers: 24
   # 每次发送的事件数
   pipeline.batch.size: 3000
   # 发送延时
   pi