FK-ELK日志系列
以实际生产项目为例,讲解在K8S上搭建、配置、调优日志系统的整个过程。涉及开源组件包括filebeat、fluentd、kafka、logstash、ElasticSearch、Kibana等。
物有所值,欢迎订阅。
---畅行天下---
为了心中的梦想,奋斗吧
展开
-
FK-ELK日志架构系列4:解决ElasticSearch7的maximum shards open 问题
这两天使用skywalking,出现了报错,如下:2020-08-03 14:53:38 2020-08-03 06:53:38,984 - org.apache.skywalking.oap.server.starter.OAPServerBootstrap -10421 [main] ERROR [] - Elasticsearch exception [type=validation_exception, reason=Validation Failed: 1: this action woul原创 2020-08-03 17:18:49 · 1776 阅读 · 0 评论 -
FK-ELK日志架构系列3:Kibana用户角色权限之配置用户访问指定日志
在使用kibana过程中,通常需要根据日志的内容及索引将其划分给不同的用户查看,每个用户只能查看权限范围内的日志索引,这样就保证了日志在权限范围内是可控的,达到了不同的人能看到不同的日志的目的。 要想实现上述操作,需要先配置kibana具有权限管理模块,使得kibana能够使用用户名、密码登录的方式才行,如图:1.创建角色 首先,使用elastic这个超级用户来登录,然后点击左侧菜单的管理图标,在显示的页面左侧会显示安全性:用户和角色,如下图:...原创 2020-07-09 12:15:42 · 1881 阅读 · 0 评论 -
FK-ELK日志架构系列2:Fluentd配置-使用环境变量
在使用Fluentd进行配置的过程中,由于要采用sidecar的方式将fluentd组件作为docker挂载到微服务的pod上,所以就面临每个微服务的日志名称不同,导致fluentd采集日志文件就需要动态变化,最好使用变量的方式来实现。经过实践,发现可以采用配置环境变量的方式,将fluentd的配置文件里的动态变化的地方来引用环境变量,这样就实现了,一个配置文件,可以挂载到所有的微服务pod上,不用每个微服务都配置一个单独的fluentd配置文件了。注:这里说的环境变量,是指K8S里的ENV方式设置原创 2020-05-22 10:55:56 · 955 阅读 · 0 评论 -
FK-ELK日志架构系列1:总体设计架构
FK-ELK日志架构系列,即Fluentd -> Kafka -> Logstash ->Elasticsearch ->Kibana。该系列后续会不断完善架构及部署和配置过程。目前该套日志架构是部署在K8S之上的,所以主要介绍容器的部署及配置。该系列目录:日志采集(docker):Fluentd的部署及配置 日志采集(VM):Filebeat的部署及配置 日志转发:Kafka的部署及配置 日志消费:Logstash的部署及配置 日志存储:ES的部署及配置 ..原创 2020-05-22 10:12:01 · 308 阅读 · 0 评论