ELK系列
elk功能十分强大,使用场景众多,我在此记录一些生产环境配置以及错误排查
平凡似水的人生
人的梦想是不会被终结的
展开
-
【ELK7.4】 报错解决集锦
一、es报错 1、es数据无法写入,查看日志报以下错误信息 reason"=>"Validation Failed: 1: this action would add [18] total shards, but 报错原因 集群分片数耗尽,增加分片数量即可。 解决方法 (1)修改es配置: vim /data/elasticsearch-7.4.0/config/elasticsearch.yml cluster.max_shards_per_node: 30000 重启生效 (2)使用cu原创 2020-09-07 16:48:03 · 358 阅读 · 0 评论 -
【ELK7.4】 logstash模版
一、简介 logstash模版可以定义索引创建时的规范,利用模版可以更轻松的管理es中的索引。 二、配置logstash写入es时自动分片 1、修改logstash配置 cd /data/logstash-7.4.0/config vim logstash.conf input { beats { port => 5044 } } output { elasticsearch { hosts => "172.16.12.110:9200"原创 2020-09-03 16:01:53 · 746 阅读 · 0 评论 -
【ELK7.4】优化
一、简介 服务上线之后会因为使用过程中出现的问题来进行优化,以下是我根据实际情况总结的优化参数,请大家指点! 二、logstash优化 1、优化内存 vim config/jvm.options -Xms3g -Xmx3g 2、优化参数 vim config/logstash.yml pipeline.workers: 3 pipeline.batch.delay: 5 pipeline.batch.size: 10000 #pipeline.workers 线程数设置,设置CPU核数原创 2020-09-03 15:56:02 · 323 阅读 · 0 评论 -
【ELK7.4】 使用kafka作为消息队列收集日志
一、业务场景 公司计划将ai产生的日志进行收集,用来给机器学习提供数据。 以下是实现方案 架构图: 使用程序直接将日志输出到kafka,然后通过logstash来进行过滤收集。 二、详细配置 1、kafka收集信息 topic: ai 分区数: 3 2、logstash input配置 #收集kafka配置 input{ kafka { bootstrap_servers => ["172.16.1.10:9092,172.16.1.11:9092,172.16.1.12原创 2020-09-03 15:35:51 · 432 阅读 · 0 评论 -
【ELK7.4】 集群部署
一、 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 基本概念这里就不做介绍了。 二、安装 服务器环境 Node1: ES、logstash、filebeat、kibana Node2: ES、filebeat Node3: ES 1、系统优化(在正式安装前需要进行系统优化,负责无法启动) 单个JVM下支撑的线程数 vim /etc/sysctl.conf vm.m原创 2020-09-03 12:52:51 · 1290 阅读 · 1 评论