EFK + Kafka 日志收集

已于 2022-10-26 16:12:23 修改
阅读量1.1k 收藏 3
点赞数 1
分类专栏： 日志收集 K8S 文章标签： kafka java elasticsearch
于 2022-09-20 15:13:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42555971/article/details/126953599
版权

文章目录

简易方案：https://blog.csdn.net/weixin_42555971/article/details/127101376

方案

  1. 部署 FluentBit 从集群每个节点采集日志
  2. 推送 kafka 削峰并保存
  3. 部署 FileBeat 从 kafka 消费日志
  4. FileBeat 发送日志到 ElasticSearch 并保存
  5. 部署 Kibana 展示 ElasticSearch 数据
采集
采集
采集
推送
推送
推送
消费
消费
消费
发送
发送
发送
展示
节点
FluentBit
节点
FluentBit
节点
FluentBit
Kafka
FileBeat
FileBeat
FileBeat
Elastic
Kibana

 

部署 FluentBit

官方文档：https://github.com/fluent/fluent-bit-kubernetes-logging

  1. 部署 service-account、role、role-binding

Kubernetes v1.21 以下

kubectl create namespace logging
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role.yaml
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding.yaml

Kubernetes v1.22 以上

kubectl create namespace logging
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-1.22.yaml
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding-1.22.yaml

fluent-bit-service-account.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluent-bit
  namespace: logging

fluent-bit-role-1.22.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluent-bit-read
rules:
- apiGroups: [""]
  resources:
  - namespaces
  - pods
  verbs: ["get", "list", "watch"]

fluent-bit-role-binding-1.22.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: fluent-bit-read
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: fluent-bit-read
subjects:
- kind: ServiceAccount
  name: fluent-bit
  namespace: logging
  1. 部署 ConfigMap

部署命令

kubectl apply -f fluent-bit-configmap.yaml

编写 fluent-bit-configmap.yaml

官网：https://docs.fluentbit.io/manual/pipeline/outputs/kafka
正则：http://rubular.com/

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluent-bit-config
  namespace: log
  labels:
    k8s-app: fluent-bit
data:
  # Configuration files: server, input, filters and output
  # ======================================================
  fluent-bit.conf: |
    [SERVICE]
        Flush         1
        Log_Level     info
        Daemon        off
        Parsers_File  parsers.conf
        HTTP_Server   On
        HTTP_Listen   0.0.0.0
        HTTP_Port     2020

    @INCLUDE input-kubernetes.conf
    @INCLUDE filter-kubernetes.conf
    @INCLUDE output-kafka.conf

  input-kubernetes.conf: |
    [INPUT]
        Name              tail
        Tag               kube.njc.dev.permission
        Path              /var/log/containers/*dev_permission-service*.log
        DB                /var/log/flb_kube.db
        Mem_Buf_Limit     5MB
        Rotate_Wait       60
        Skip_Long_Lines   On
        Refresh_Interval  10
        Multiline         On
        Parser_Firstline  multiline_pattern
        
  filter-kubernetes.conf: |        
    [FILTER]
        Name                kubernetes
        Match               kube.njc.*
        Kube_URL            https://kubernetes.default.svc:443
        Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
        Kube_Tag_Prefix     kube.var.log.containers.
        Merge_Log           On
        Merge_Log_Key       log_processed
        K8S-Logging.Parser  On
        K8S-Logging.Exclude Off
        
    [FILTER]
        Name         parser
        Match        kube.njc.dev.permission
        Key_Name     log
        Parser       njc_service_log
        Reserve_Data  On
        Preserve_Key  On

  output-kafka.conf: |
    [OUTPUT]
        Name           kafka
        Match          kube.njc.dev.permission
        Brokers        192.168.140.16:31823,192.168.140.16:30499,192.168.140.16:30906
        Topics         service.log.dev.permission
        rdkafka.message.max.bytes    200000000
        rdkafka.fetch.message.max.bytes    204857600
        
  parsers.conf: |
    [PARSER]
        Name   njc_service_log
        Format regex
        Regex  ^(?<time>[^ ]*) [^ ]* (?<level>[^ ]*) [^ ]* (?<class>[^ ]*): (?<Message>[^ \]].*)
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z
        
    [PARSER]
        Name multiline_pattern
        Format regex
        Regex ^(?<log>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}\.\d{3}.*)
        Time_Key  time
        Time_Format %b %d %H:%M:%S

修改 INPUT 的 Path，按需过滤容器日志
注意 output-kafka 的 Match 和 FILTER 的 Match 以及 INPUT 的 Tag 一样
修改 kafka 的 Brokers 和 Topics

集群节点日志存储情况
在这里插入图片描述

  1. 部署 DaemonSet

部署命令

kubectl apply -f fluent-bit-ds.yaml

编写 fluent-bit-ds.yaml

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluent-bit
  namespace: log
  labels:
    k8s-app: fluent-bit-logging
    version: v1
    kubernetes.io/cluster-service: "true"
spec:
  updateStrategy:
    type: RollingUpdate
  selector:
    matchLabels:
      k8s-app: fluent-bit-logging
  template:
    metadata:
      labels:
        k8s-app: fluent-bit-logging
        version: v1
        kubernetes.io/cluster-service: "true"
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "2020"
        prometheus.io/path: /api/v1/metrics/prometheus
    spec:
      containers:
      - name: fluent-bit
        image: fluent/fluent-bit:1.5
        imagePullPolicy: Always
        ports:
        - containerPort: 2020
        readinessProbe:
          httpGet:
            path: /api/v1/metrics/prometheus
            port: 2020
        livenessProbe:
          httpGet:
            path: /
            port: 2020
        resources:
          requests:
            cpu: 5m
            memory: 10Mi
          limits:
            cpu: 50m
            memory: 60Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        - name: fluent-bit-config
          mountPath: /fluent-bit/etc/
      terminationGracePeriodSeconds: 10
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: fluent-bit-config
        configMap:
          name: fluent-bit-config
      serviceAccountName: fluent-bit
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      - operator: "Exists"
        effect: "NoExecute"
      - operator: "Exists"
        effect: "NoSchedule"

部署结果：使用 DaemonSet 部署，保证每个 node 节点均运行着一个 pod，可以采集所有节点的日志
在这里插入图片描述

部署日志：可以看见成功连接 kafka 集群
在这里插入图片描述

 

部署 Kafka

部署文档： https://blog.csdn.net/weixin_42555971/article/details/125018511

部署命令

helm install kafka bitnami/kafka -f values.yaml -n component

配置文件

global:
  storageClass: "nfs-client"
replicaCount: 3
externalAccess:
  enabled: true
  service:
    type: NodePort
  autoDiscovery:
    enabled: true
serviceAccount:
  create: true
rbac:
  create: true

replicaCount：副本数量
externalAccess：自动创建 NodePort
serviceAccount：自动创建 serviceAccount
rbac：自动创建 rbac

部署结果
在这里插入图片描述

kafka成功收集到节点日志信息
在这里插入图片描述

 

部署 FileBeat

官方文档： https://github.com/elastic/helm-charts/tree/master/filebeat

部署命令

helm repo add elastic https://helm.elastic.co
helm install filebeat elastic/filebeat -f values.yaml

values.yaml 文件

filebeatConfig:
  filebeat.yml: |
    filebeat.inputs:
    - type: kafka
      hosts:
        - 192.168.140.16:31823
        - 192.168.140.16:30499
        - 192.168.140.16:30906
      topics: ["service.log.dev.permission"]
      group_id: "xxx"
      max_wait_time: 1000ms

    processors:
      - decode_json_fields:
          fields: ["message"]
          max_depth: 3
          target: ""
          overwrite_keys: false
          process_array: true
      - drop_fields:
          fields: ["@metadata", "agent","host", "ecs", "message","kubernetes.annotations","kubernetes.labels","log_processed.time
    ","log.time"]

    filebeat.config.modules:
      path: ${path.config}/modules.d/*.yml
      reload.enabled: false

    setup.template.settings:
      index.number_of_shards: 1
      index.refresh_interval: 10s
      index.number_of_replicas: 1
      index.codec: best_compression
    setup.template.enabled: true
    setup.template.fields: fields.yml
    setup.template.name: "k8s"
    setup.template.pattern: "k8s-*"
    setup.template.enabled: true
    setup.ilm.enabled: false

    output.elasticsearch:
      username: 'elastic'
      password: '0215szA91NN3q6fk6MQB6UvS'
      protocol: http
      hosts: ["es-es-es:9200"]
      index: "k8s-%{[kafka.topic]}-%{+yyyy.MM.dd}"

修改 kafka 的 hosts、topics 和 group_id
修改 elasticsearch 的用户名、密码、hosts 和 index
因处于同一集群下，elasticsearch 配置使用了 Headless

部署结果
在这里插入图片描述

部署日志
在这里插入图片描述
 

部署 Elastic

官网：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-deploy-eck.html

安装 eck

安装 crds 和 operator

kubectl create -f https://download.elastic.co/downloads/eck/2.4.0/crds.yaml
kubectl apply -f https://download.elastic.co/downloads/eck/2.4.0/custom resource definitions.yaml

查看 operator 运行日志

kubectl -n elastic-system logs -f statefulset.apps/elastic-operator

在这里插入图片描述
 

安装 elastic

部署命令

kubectl apply -f deployment.yaml

deployment.yaml 文件

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch # 需要安装es operator
metadata:
  name: es
  namespace: els-test
spec:
  version: 7.11.2
  http:
    tls:
      selfSignedCertificate:
        disabled: true
  nodeSets:
    - name: es
      count: 3
      volumeClaimTemplates:
        - metadata:
            name: elasticsearch-data
          spec:
            accessModes:
              - ReadWriteOnce
            resources:
              requests:
                storage: 10Gi
            storageClassName: nfs-client
      podTemplate:
        spec:           
          containers:
            - name: elasticsearch
              env:
                - name: ES_JAVA_OPTS
                  value: "-Xms2g -Xmx2g"
              resources:
                requests:
                  memory: 3Gi
                limits:
                  memory: 3Gi

namespace：配置命名空间
tls：关闭 tls 协议，配置文章：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-transport-settings.html
storageClassName：配置存储卷，可以参考文章 nfs-client
storage：配置存储空间，预设 10Gi，配置文章：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-volume-claim-templates.html
resources：配置最大最小内存，配置文章：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-managing-compute-resources.html
ES_JAVA_OPTS：配置最大最小 java 内存，配置文章：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-jvm-heap-dumps.html

部署结果
在这里插入图片描述

账号：elastic
密码：

 kubectl  get secret es-es-elastic-user -n els-test -o=jsonpath='{.data.elastic}' | base64 --decode

在这里插入图片描述

配置 ingress 或 nodeport ，参考文章：ingress 部署

结果如下即 elastic 部署成功，cluster_name 是 es

在这里插入图片描述

查看elastic集群节点状态：/_cat/nodes?v
在这里插入图片描述

查看elastic集群索引信息：/_cat/indices?v
可以看出：elastic 成功消费 kafka 的 topic，FileBeat 配置 index: “k8s-%{[kafka.topic]}-%{+yyyy.MM.dd}”
在这里插入图片描述
 

部署 Kibana

部署命令

kubectl apply -f kibana.yaml

kibana.yaml

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: kibana
  namespace: els-test
spec:
  version: 7.11.2
  count: 1
  elasticsearchRef:
    name: es
  http:
    tls:
      selfSignedCertificate:
        disabled: true

namespace：和 elastic 一样
tls：关闭 tls 协议
elasticsearchRef：和 elastic 的 cluster_name 一样
编写 deployment.yaml 文件

部署结果
在这里插入图片描述

配置 ingress 或 nodeport ，参考文章：ingress 部署

查看 index 索引
在这里插入图片描述

创建 index 索引
在这里插入图片描述
在这里插入图片描述

填写正则匹配，如：dev.permission
在这里插入图片描述

在这里插入图片描述

成功展示
在这里插入图片描述

选择 log.log，可以只看 java 服务的日志
在这里插入图片描述

我有一只肥螳螂
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
在日志管理领域，传统的ELK（Elasticsearch, Logstash, Kibana）堆栈正逐渐被EFK（Elasticsearch, Fluentd, Kafka）所取代，原因是Logstash在处理大量日志时可能消耗过多内存，而Fluentd在轻量级日志收集方面表现更...
EFK+kafka消峰日志
正宗文于
06-12 752
概述
在 Kubernetes 上搭建 EFK 日志收集系统
最新发布
Linux运维老纪的博客
06-29 886
​本章给大家介绍 Kubernetes 集群中的几种日志收集方案，Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。记得点赞、收藏！ ​
efk+logstash+kafka（简化版）
ss810540895的博客
06-05 797
efk（仅记录，如有问题可留言） cat >> /etc/hosts << EOF 192.168.2.128 node-1 192.168.2.129 node-2 192.168.2.130 node-3 EOF 安装java环境 yum install java-1.8.0-openjdk -y java -version openjdk version "1.8.0_262" 安装kafka和zookeeper mkdir -p /soft/src cd /soft/sr
EFK+zookeeper+kafka集群搭建
潇潇雨歇
08-22 1085
文章目录一、Zookeeper原理简介1.1Zookeeper设计目的1.2 Zookeeper工作原理1.2 1、在zookeeper的集群中，各个节点共有下面3种角色和4种状态：1.3 每个Server在工作过程中有4种状态：1.4Zookeeper集群节点二、实验环境2.1修改主机名2.2.安装前环境准备2.2安装 JDK和检查环境2.3下载到opt并安装软件包2.4安装 Zookeeper并解压2.5修改配置文件2.6拷贝配置好的 Zookeeper 配置文件到其他机器上2.7在每个节点上创建数据
EFK+Kafka日志系统（PB级）-测试环境demo可用
qq_33999844的博客
11-29 3285
EFK+Kafka日志系统：filebeat ---> kafka(ZK) ---> logstash ---> ES ---> kibana ----------------------------------------------------------------------------基础定义-------------------------------...
Kafka+Log4j实现日志集中管理
05-05
总的来说，通过Kafka和Log4j的结合，我们可以构建一个高效、可扩展的日志管理系统，不仅能够实时收集应用程序的日志，还可以进行日志分析、监控和报警，对于故障排查和性能优化具有极大的帮助。同时，这样的设计也...
EFK日志系统安装配置文档
08-01
EFK（Elasticsearch、Filebeat、Kafka）日志系统是一种高效的数据收集、存储和分析解决方案。它主要由三个核心组件构成：Filebeat用于收集日志数据；Kafka作为中间消息队列，提供可靠的数据传输；Elasticsearch则...
k8s搭建EFK日志中心需要的部署文件
06-10
k8s搭建EFK日志中心需要的部署文件，适用于搭建elasticsearch + fluentd + kibana组成的...此种方案，抛弃了logstash重型日志收集器，改用较为轻量级的，扩展性更高的fluentd。同时，搭配kafka等中间件，效率会更好！
istio-micro：istio微服务示例代码grpc + protobuf + echo + websocket + mysql + redis + kafka + docker-compose
02-02
protobuf服务层之间的通讯回声应用层接口暴露MySQL的存储层Redis缓存层卡夫卡服务之间初步通讯积家双向跟踪EFK日志收集存储查询（没涉及，只把日志打到文件） Statik静态文件打包公制监控报警（influxdb + grafana）...
zookeeper+kafka+EFK部署
与之二三事、
08-29 472
目录1. 部署zookeeper+kafka+EFK过程1.1 搭建环境1.2 部署zookeeper1.3 部署 kafka 集群1.3.1 Kafka 命令行操作1.4 部署EFK1.4.1 搭建环境1.4.2 部署Elasticsearch1.4.3 部署elasticsearch-head插件1.4.4 部署kibana1.4.5 部署logstash1.4.6 部署Filebeat1.5 验证 1. 部署zookeeper+kafka+EFK过程 1.1 搭建环境 192.168.152.130：
EFK6.3+kafka+logstash日志分析平台集群
qq_40907977的博客
07-03 569
转载来源 ：EFK6.3+kafka+logstash日志分析平台集群 ：https://www.jianshu.com/p/f956ebbb2499 架构解读 : 第一层、数据采集层 安装filebeat做日志采集，同时把采集的日志发送给kafka broker+zookeeper集群。 第二层、数据转发层 Logstash节点会实时去kafka broker集群拉数据，接受到的日志经过格式处理，然后转发到ES集群 第三层、数据检索，数据展示 ES Master + Kibana 主要协调ES集群，处理数
Docker部署EFK+Kafka日志收集系统
weixin_34177064的博客
04-30 675
日志收集流程为：fluentd - kafka - logstash - elasticsearch - kibana使用镜像如下：registry.cn-hangzhou.aliyuncs.com/xiao_bai/fluentd-kafka:v1 version:1.4registry.cn-hangzhou.aliyuncs....
部署基于efk+logstash+kafka构建日志收集平台并对nginx日志进行分析【待执行】
Lenhart001的博客
10-24 755
Filebeat采集日志kafka topic存起来日志->logstash去kafka获取日志，进行格式转换->elasticsearch->kibana。
centos7--部署EFK服务(1)-zookeeper+kafka服务
xiaohuai0444167的博客
04-01 499
一，部署zookeeper 1，分别准备3台虚拟主机A,B,C，关闭防火墙和selinux， [root@localhost ~] systemctl stop firewalld.service [root@localhost ~] setenforce 0 #因为三台主机间要相互通信 2，分别在主机A,B,C导入服务所需安装包，安装jdk [root@localhost ~] rpm -i...
ELK/EFK+KAFKA日志分析集群总结
weixin_45029724的博客
12-14 374
ELK总结： Elasticsearch：搜集、分析、存储数据（主要用来日志存储） *es:分片式存储日志 Logstash: 搜集日志、定义日志的输出格式（json、xfl）、输出日志（主要用来日志的搜集） ----logstash非常消耗性能，所以很多企业替换为Filebeat（轻量级的数据收集引擎）：日志收集、标准终端输入。 Kibana: 前端日志的展示框架（主要用于日志的展示 es） Kafka：（kafka集群+elk） zookeeper：kafka运行必要的组件 是一种开源的、
日志收集===》ELK、EFK、zookeeper+kafka
Elaina_fang✨✨✨的博客
06-24 606
1.架构图 简版： 位于各个节点上的filebeat将收集到的日志数据output给es存储，通过kibana展示。 规范版：适用于每天50G以上日志量收集。 位于各个节点上的filebeat先将数据/日志传递给Kafka（或者Redis），并将队列中消息或数据间接传递给Logstash，Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了Kafka（或者Redis）,所以即使远端Logstash server因故障停止运行，数据将会
EFK+kafka日志系统安装文档
Richardlygo的博客
11-25 138
EFK日志系统安装文档 因word整理的格式粘贴到csdn上变化很大，感觉影响阅读的博友们可以从下面链接下载word格式文档。 文档地址：https://download.csdn.net/download/anxianfeng55555/10576244 1. 概述 1 1.1. 配置规划 1 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值