中间件
四颗咖啡豆LanLiang
追随开源,云原生技术爱好者,Kubernetes|Pulsar|边缘计算|物联网软件|LoraWan|ChirpStack|OpenYurt|KubeEdge
展开
-
Elasticsearch+Fluentd+Kafka搭建日志系统
前言由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程.前提dockerdocker-composeapache kafka服务架构数据采集流程数据的产生使用cadvisor采集容器...原创 2020-02-18 08:38:11 · 2171 阅读 · 0 评论 -
使用logstash作为docker日志驱动收集日志
前言logstash是一个开源的日志统一处理数据收集器,属于ELK中的L,在日志收集领域应用广泛.docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是使用logstash收集docker日志.docker是没有...原创 2020-02-17 08:35:46 · 2854 阅读 · 0 评论 -
使用fluentd作为docker日志驱动收集日志
前言docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是Fluentd驱动收集docker日志.Fluentd是用于统一日志记录层的开源数据收集器,是继Kubernetes、Prometheus、Envoy 、C...原创 2020-02-16 10:01:42 · 2056 阅读 · 0 评论 -
制作带有kafka插件和es插件的fluentd镜像
前言Fluentd是用于统一日志记录层的开源数据收集器,是继Kubernetes、Prometheus、Envoy 、CoreDNS 和containerd后的第6个CNCF毕业项目,常用来对比的是elastic的logstash,相对而言fluentd更加轻量灵活,现在发展非常迅速社区很活跃,在编写这篇blog的时候github的star是8.8k,fork是1k就可见一斑.前提do...原创 2020-02-15 13:10:58 · 808 阅读 · 0 评论 -
利用docker和docker-compose部署单机kafka
# 前提1. [docker](https://www.docker.com/get-started) 2. [docker-compose](https://github.com/docker/compose) 其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式## docker部署 ...原创 2020-02-15 13:04:38 · 1323 阅读 · 3 评论