ELFK
文章平均质量分 86
最爱喝酸奶
一直要努力!
展开
-
k8s部署 elfk 7.x + x-pack
k8s以StatefulSet方式部署elasticsearch集群,其中filebeat以sidecar方式部署。当前最新版本:7.10.1namespacemkdir -p /home/k8s/elfk/{elasticsearch-head,elasticsearch,logstash,kibana,filebeat}cd /home/k8s/elfkvim namespace.yamlapiVersion: v1kind: Namespacemetadata: name:原创 2021-02-09 18:13:45 · 1999 阅读 · 3 评论 -
ELFK 7.x 集群部署
ELFK介绍ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch 一个基于 JSON 的分布式的搜索和分析引擎,作为 ELK 的核心,它集中存储数据,原创 2021-02-04 19:48:49 · 1103 阅读 · 6 评论 -
elfk收集k8s日志(三)
本文介绍通过elk + filebeat方式收集k8s日志,其中filebeat以sidecar方式部署。elfk最新版本:7.6.2k8s日志收集方案3种日志收集方案:1. node上部署一个日志收集程序 Daemonset方式部署日志收集程序,对本节点 /var/log 和 /var/lib/docker/containers 两个目录下的日志进行采集 2. sidecar方式部署日志收集程序 每个运行应用程序的pod中附加一个日志收集的容器,使用 emptyD原创 2020-05-25 10:33:07 · 965 阅读 · 0 评论 -
elfk收集k8s日志(二)
本文介绍通过elk + filebeat方式收集k8s日志,其中filebeat以sidecar方式部署。elfk最新版本:7.6.2k8s日志收集方案3种日志收集方案:1. node上部署一个日志收集程序 Daemonset方式部署日志收集程序,对本节点 /var/log 和 /var/lib/docker/containers 两个目录下的日志进行采集 2. sidecar方式部署日志收集程序 每个运行应用程序的pod中附加一个日志收集的容器,使用 emptyD原创 2020-05-20 20:12:55 · 735 阅读 · 2 评论 -
elfk收集k8s日志(一)
本文介绍通过elk + filebeat方式收集k8s日志,其中filebeat以logagent方式部署。elfk最新版本:7.6.2k8s日志收集方案3种日志收集方案:1. node上部署一个日志收集程序 Daemonset方式部署日志收集程序,对本节点 /var/log 和 /var/lib/docker/containers 两个目录下的日志进行采集 2. sidecar方式部署日志收集程序 每个运行应用程序的pod中附加一个日志收集的容器,使用 empty原创 2020-05-17 16:56:11 · 1462 阅读 · 0 评论 -
docker-compose部署es集群
通过docker-compose部署es集群。es最新版本:7.5.1mkdir -p /home/elfk/elasticsearch/configmkdir /home/elfk/elasticsearch/{data1,data2,data3}cd /home/elfkecho 'ELK_VERSION=7.5.1' > .envtree ..├── docke...原创 2020-01-21 18:03:47 · 6292 阅读 · 0 评论 -
docker stack部署elfk
通过docker stack部署elfk。elfk最新版本:7.5.1swarm集群(一个节点):manager 192.168.30.128mkdir -p /home/elfk/{elasticsearch,logstash,kibana,filebeat}/configmkdir /home/elfk/logstash/pipelinecd /home/elfkt...原创 2020-01-18 17:51:09 · 697 阅读 · 0 评论 -
docker-compose部署elfk
通过docker-compose部署elfk。elfk最新版本:7.5.1mkdir -p /home/elfk/{elasticsearch,logstash,kibana,filebeat}/configmkdir /home/elfk/elasticsearch/data /home/elfk/logstash/pipelinecd /home/elfkecho 'ELK_VE...原创 2020-01-15 18:12:14 · 974 阅读 · 0 评论 -
ELFK + Kafka + Zabbix日志监控问题
其实之前部署过该架构,只不过是单机部署的,部署过程没遇到什么问题,具体部署过程参考装这里:https://blog.csdn.net/miss1181248983/article/details/93738593这次重新部署该架构,同时监控内外网机器的日志(文中ip及域名已做修饰)。在同时监控内外网机器上的日志时,我们加入了kafka,而与filebeat结合时出现了问题,内网机器的日志可以正常...原创 2019-07-24 14:26:09 · 2193 阅读 · 2 评论 -
ELFK结合Kafka报错:InstanceAlreadyExistsException
InstanceAlreadyExistsException错误在ELFK集群结合Kafka集群的配置过程中,通过filebet收集日志传输到kafka,然后Kafka传输日志到logstash,最后到elasticsearch,并结合zabbix告警。但在kafka传输日志到logstash的配置完成后,启动logstash时报错:[WARN ][org.apache.kafka.comm...原创 2019-06-26 14:44:42 · 3763 阅读 · 0 评论 -
ELFK + Kafka + Zabbix日志收集告警
环境准备角色划分:系统:CentOS 7es主节点/es数据节点/kibana/head 192.168.1.253kafka/zookeeper/logstash 192.168.1.253日志测试/filebeat 192.168.1.253关闭防火墙和s...原创 2019-06-26 14:40:55 · 2878 阅读 · 0 评论 -
ELK集群搭建(五)
ELK集群部署(五)ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch...原创 2019-05-13 22:06:09 · 3030 阅读 · 0 评论 -
ELK集群搭建(四)
ELK集群部署(四)ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch...原创 2019-04-30 18:30:43 · 963 阅读 · 0 评论 -
ELK集群搭建(三)
ELK集群部署(三)ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch...原创 2019-04-28 14:09:24 · 1275 阅读 · 0 评论 -
ELK集群搭建(二)
ELK集群部署ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch ...原创 2019-04-24 14:49:03 · 1780 阅读 · 3 评论 -
ELK集群搭建(一)
ELK集群部署ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。ElasticSearch ...原创 2019-04-18 18:20:31 · 27600 阅读 · 14 评论