kubernetes-EFK

最新推荐文章于 2023-02-19 16:23:19 发布
最新推荐文章于 2023-02-19 16:23:19 发布
阅读量247 收藏 1
点赞数
分类专栏： linux基础 日志处理 文章标签： elasticsearch centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang688098/article/details/120327715
版权

EFK

主流的 ELK（Elasticsearch，Logstash，Kibana）目前已经转变为 EFK（Elasticsearch，Filebeat or Fluentd，Kibana），对于容器云的日志方案业内也普遍推荐采用 Fluentd

logstash支持所有主流日志类型，插件支持最丰富，可以灵活DIY，但性能较差，JVM容易导致内存使用量高。

fluentd支持所有主流日志类型，插件支持较多，性能表现较好。
logtail占用机器cpu、内存资源最少，结合阿里云日志服务的E2E体验良好。

注意事项：

生产环境中，fluentd收集上来的日志可以输出到外部的es集群，建议单独部署es集群，因为占用内存资源较大，可以将外部es集群通过svc的方式给集群内部资源提供服务，如果要部署在k8s集群内，建议将es部署在单独的三台node节点

1. fluentd-elasticsearch-kibana部署

官方地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

1.下载相关yaml文件

[root@VM-0-7-centos ~]# git clone https://github.com/kubernetes/kubernetes.git
[root@VM-0-7-centos ~]# cd kubernetes/cluster/addons/fluentd-elasticsearch

2.部署es

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f create-logging-namespace.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f es-statefulset.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f es-service.yaml

2.1查看es状态

[root@VM-0-7-centos ~]# kubectl get po -n logging
NAME                      READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0   1/1     Running   0          3m58s
elasticsearch-logging-1   1/1     Running   0          49s

2.2查看es集群状态

#将svc改为NodePort类型
[root@VM-0-7-centos fluentd-elasticsearch]# cat es-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-logging
  namespace: logging
  labels:
    k8s-app: elasticsearch-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Elasticsearch"
spec:
#  clusterIP: None
  ports:
    - name: db
      port: 9200
      protocol: TCP
      targetPort: 9200
    - name: transport
      port: 9300
      protocol: TCP
      targetPort: 9300
  publishNotReadyAddresses: true
  selector:
    k8s-app: elasticsearch-logging
  sessionAffinity: None
  type: NodePort

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get svc -n logging
NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
elasticsearch-logging   NodePort   10.247.252.38    <none>        9200:30748/TCP,9300:31191/TCP   3m43s
[root@VM-0-7-centos fluentd-elasticsearch]# curl 10.247.252.38:9200/_cat/health?pretty
1629878634 08:03:54 kubernetes-logging yellow 1 1 2 2 0 0 1 0 - 66.7%

3.部署fluentd

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f fluentd-es-configmap.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f fluentd-es-ds.yaml

* 直接创建fluentd-es-ds.yaml会报错，注释securityContext[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-empqyNKy-1631772616397)(/tfl/pictures/202108/tapd_68571556_1629876804_38.png)]

3.1查看fluentd状态

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get po -n logging
NAME                      READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0   1/1     Running   0          8m54s
fluentd-es-v3.1.1-cjjgg   1/1     Running   0          16s
fluentd-es-v3.1.1-jhrkr   1/1     Running   0          16s
fluentd-es-v3.1.1-xt77z   1/1     Running   0          16s

4.部署kibana

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f kibana-deployment.yaml
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f kibana-service.yaml

* 直接创建kibana-deployment.yaml会报错，注释securityContext[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PKgKrm4A-1631772616400)(/tfl/pictures/202108/tapd_68571556_1629879307_13.png)]

4.1查看kibana状态

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get po -n logging
NAME                              READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0           1/1     Running   0          24m
fluentd-es-v3.1.1-cjjgg           1/1     Running   0          15m
fluentd-es-v3.1.1-jhrkr           1/1     Running   0          15m
fluentd-es-v3.1.1-xt77z           1/1     Running   0          15m
kibana-logging-6fc8c7c7b8-b5rqt   1/1     Running   0          13s

4.2修改kibana访问类型为svc

[root@VM-0-7-centos fluentd-elasticsearch]# cat kibana-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: kibana-logging
  namespace: logging
  labels:
    k8s-app: kibana-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Kibana"
spec:
  ports:
  - port: 5601
    protocol: TCP
    targetPort: ui
  selector:
    k8s-app: kibana-logging
  type: NodePort

4.3查看svc访问kibana

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get svc -n logging
NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
elasticsearch-logging   NodePort   10.247.252.38    <none>        9200:30748/TCP,9300:31191/TCP   8m36s
kibana-logging          NodePort   10.247.254.105   <none>        5601:31125/TCP                  5m3s

4.4访问kibana地址

  • http://宿主机ip:svc端口
    http://1.14.97.124:31125
    在这里插入图片描述
    在这里插入图片描述

ELK

Filebeat+kafka/Redis+Logstash+ES+Kibana部署

链接地址：https://github.com/dotbalo/k8s/tree/master/efk-7.10.2

1.下载相关yaml文件

[root@VM-0-7-centos ~]# git clone https://github.com/dotbalo/k8s.git
[root@VM-0-7-centos ~]# cp -rp k8s/efk-7.10.2 ./elk
[root@VM-0-7-centos ~]# rm -fr k8s/

2.部署filebeat

# 1、编写filebeat资源配置清单
[root@k8s-master01 filebeat]# vim filebeat-cm.yaml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeatconf
data:
  filebeat.yml: |-
    filebeat.inputs:
    - input_type: log
      paths:
        - /data/log/*/*.log
      tail_files: true
      fields:
        pod_name: '${podName}'
        pod_ip: '${podIp}'
        pod_deploy_name: '${podDeployName}'
        pod_namespace: '${podNamespace}'
      tags: [test-filebeat]
    output.kafka:
      hosts: ["kafka:9092"]
      topic: "test-filebeat"
      codec.json:
        pretty: false
      keep_alive: 30s
      
# 2、编写logstash资源配置清单       
[root@k8s-master01 filebeat]# vim logstash-cm.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: logstash-configmap
data:
  logstash.yml: |
    http.host: "0.0.0.0"
    path.config: /usr/share/logstash/pipeline
  logstash.conf: |
    # all input will come from filebeat, no local logs
    input {
      kafka {
              enable_auto_commit => true
              auto_commit_interval_ms => "1000"
              bootstrap_servers => "kafka:9092"
              topics => ["test-filebeat"]
              codec => json
          }
    }
    output {
       stdout{ codec=>rubydebug}
       if [fields][pod_namespace] =~ "logging" {
           elasticsearch {
             hosts => ["elasticsearch-logging:9200"]
             index => "%{[fields][pod_namespace]}-s-%{+YYYY.MM.dd}"
          }
       } else {
          elasticsearch {
             hosts => ["elasticsearch-logging:9200"]
             index => "no-index-%{+YYYY.MM.dd}"
          }
       }
    }

# 3、logstash-service.yaml
[root@k8s-master01 filebeat]# vim logstash-service.yaml 
kind: Service
apiVersion: v1
metadata:
  name: logstash-service
spec:
  selector:
    app: logstash
  ports:
  - protocol: TCP
    port: 5044
    targetPort: 5044
  type: ClusterIP

# 4、logstash-deploy.yaml
[root@k8s-master01 filebeat]# vim logstash-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: logstash-deployment
spec:
  selector:
    matchLabels:
      app: logstash
  replicas: 1
  template:
    metadata:
      labels:
        app: logstash
    spec:
      containers:
      - name: logstash
        image: docker.elastic.co/logstash/logstash-oss:7.10.2
        ports:
        - containerPort: 5044
        volumeMounts:
          - name: config-volume
            mountPath: /usr/share/logstash/config
          - name: logstash-pipeline-volume
            mountPath: /usr/share/logstash/pipeline
      volumes:
      - name: config-volume
        configMap:
          name: logstash-configmap
          items:
            - key: logstash.yml
              path: logstash.yml
      - name: logstash-pipeline-volume
        configMap:
          name: logstash-configmap
          items:
            - key: logstash.conf
              path: logstash.conf

# 5、编写测试app的资源配置清单，filebeat以边车模式跟应用容器在同一pod下运行，共享日志目录
[root@k8s-master01 filebeat]# vim app.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app
  labels:
    app: app
    env: release
spec:
  selector:
    matchLabels:
      app: app
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  # minReadySeconds: 30
  template:
    metadata:
      labels:
        app: app
    spec:
      nodeSelector:
         kubernetes.io/hostname: k8s-node02
      containers:
        - name: filebeat                        
          image: elastic/filebeat:7.10.2
          resources:
            requests:
              memory: "100Mi"
              cpu: "10m"
            limits:
              cpu: "200m"
              memory: "300Mi"
          imagePullPolicy: IfNotPresent
          env:
            - name: podIp
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.podIP
            - name: podName
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            - name: podNamespace
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
            - name: podDeployName
              value: app
            - name: TZ
              value: "Asia/Shanghai"
          securityContext:
            runAsUser: 0
          volumeMounts:
            - name: logpath
              mountPath: /data/log/app/
            - name: filebeatconf
              mountPath: /usr/share/filebeat/filebeat.yml 
              subPath: usr/share/filebeat/filebeat.yml
        - name: app
          image: alpine:3.6 
          imagePullPolicy: IfNotPresent
          volumeMounts:
            - name: logpath
              mountPath: /home/tomcat/target/
            - name: tz-config
              mountPath: /etc/localtime
            - mountPath: /usr/share/zoneinfo/Asia/Shanghai
              name: tz-config
            - mountPath: /etc/timezone
              name: timezone
          env:
            - name: TZ
              value: "Asia/Shanghai"
            - name: LANG
              value: C.UTF-8
            - name: LC_ALL
              value: C.UTF-8
            - name: ENV
              value: k8srelease
            - name: XMS
              value: "2048m"
            - name: XMX
              value: "2048m"
            - name: MEMORY_LIMIT
              valueFrom:
                resourceFieldRef:
                  resource: requests.memory
                  divisor: 1Mi
          command:
            - sh
            - -c
            - sleep 360000
          ports:
            - containerPort: 8080
              name: tomcat
      volumes:
        - name: tz-config
          hostPath:
            path: /usr/share/zoneinfo/Asia/Shanghai
        - hostPath:
            path: /etc/timezone
            type: ""
          name: timezone
        - name: logpath
          emptyDir: {}
        - name: filebeatconf
          configMap:
            name: filebeatconf
            items:
              - key: filebeat.yml
                path: usr/share/filebeat/filebeat.yml

# 6、应用资源配置清单
[root@k8s-master01 filebeat]# kubectl create -f filebeat-cm.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-cm.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-service.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-deploy.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f app.yaml -n logging

# 7、查看pod是否正常运行
root@k8s-master01 kafka]# kubectl get pod -n logging 
NAME                                   READY   STATUS    RESTARTS   AGE
app-65cc5f557b-g7kqs                   2/2     Running   0          21m
elasticsearch-logging-0                1/1     Running   2          22h
elasticsearch-logging-1                1/1     Running   2          22h
kafka-0                                1/1     Running   0          22h
kafka-1                                1/1     Running   0          22h
kafka-2                                1/1     Running   0          22h
kibana-logging-6778fdcd79-7gcvd        1/1     Running   7          21h
logstash-deployment-85bcdd4755-9v9l2   1/1     Running   3          25m
zookeeper-0                            1/1     Running   0          22h
zookeeper-1                            1/1     Running   0          22h
zookeeper-2                            1/1     Running   0          22h

# 8、模拟日志上报

# 模拟之前先打开logstash的日志，可以看到上报上来的日志
[root@k8s-master01 ~]# kubectl logs -f -n logging logstash-deployment-85bcdd4755-9v9l2

# 进入测试容器，模拟上报
[root@k8s-master01 filebeat]# kubectl exec -it -n logging app-65cc5f557b-2brc5 -c app -- sh
/ # touch /home/tomcat/target/app.log
/ # for i in `seq 1 2000` ; do echo $i >> /home/tomcat/target/app.log ; done

打开kibana页面，添加索引，查看是否有日志上报

whlxiaofei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
部署EFK
qq_45507961的博客
10-04 544
1 下载EFK wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.4.2-linux-x86_64.tar.gz && tar xf filebeat-8.4.2-linux-x86_64.tar.gz -C /usr/local wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.2-linux-
elasticsearch-7.9.1，EFK安装包
10-16
elasticsearch-7.9.1-linux-x86_64.tar.gz elasticsearch-analysis-ik-7.9.1.zip filebeat-7.9.1-linux-x86_64.tar.gz kibana-7.9.1-linux-x86_64.tar.gz
EFK 8.2.0 日志管理系统
moderate_people的博客
05-10 968
windows 实现EFK日志管理系统，8.2.0（最新版）
kubernetes（k8s）中部署 efk
小云的博客
12-28 1007
Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elastics...
EFK-release-1.13分支镜像5
12-02
K8s上部署EFK的镜像，这些镜像是以github官方地址build的，包括alpine-3.6、elasticsearch-v6.3.0、fluentd-elasticsearch-v2.2.0、kibana-oss-6.3.2四个镜像及其yaml文件。 这些镜像是以github release-1.13 build出来的。由于文件比较大，分了7个文件出来，分批上传
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd松紧带在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符在您...
kubernetes-learning.pdf
06-04
k8s学习 介绍 序⾔ 课程介绍 Docker 基础 Docker 简介 ...搭建 EFK ⽇志系统 CI/CD: 动态 Jenkins Slave Jenkins Pipeline 部署 Kubernetes 应⽤ Jenkins BlueOcean Harbor Gitlab Gitlab CI Devops
follow-me-install-kubernetes-cluster：和我一步步部署kubernetes
02-02
follow-me-install-kubernetes-cluster：和我一步步部署kubernetes
argocd-infra-efk:kustomization布局以在kubernetes中部署efk堆栈
03-25
ArgoCD-EFK-部署概述在kubernetes中部署elsticsearch，fluentd和kibana所需的所有yaml文件资料夹结构文件夹结构如下： --- environments | | | --- overlays | | | --- prod | | | --- namespace | | | | | --- ...
kubernetes-kargo-logging-monitoring：使用kargo部署kubernetes集群
02-03
通过具有日志记录（EFK）和监视（Prometheus）支持的kargo部署kubernetes 您会得到什么： Kargo ：一种强大，灵活的方式来构建，热升级/迁移和扩展kubernetes（k8s） 正在运行的主节点的X数量：k8（用于容器编排）...
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
EFK安装指南
lavendYu的博客
05-11 1698
1.官网下载安装包,官网地址:https://www.elastic.co/downloads本次使用版本为elasticsearch-6.1.1.tar.gzkibana-6.1.1-linux-x86_64.tar.gz2.环境准备:Java环境：JDK1.8（若未安装，需先安装）3.安装elasticsearch-6.1.1.tar.gza.tar -zxvf elasticsearch-6...
三-EFK安装配置
liubingyu12345的博客
03-21 3260
EFK安装配置 前言 微服务使用Docker部署后，日志处理就是一个问题。我所知道的目前是两种处理方式。 1. 如果项目业务量不大，则可以在docker run的时候通过-v命令把容器内的日志目录挂载到宿主物理机的真实目录上。这样就能直接在物理主机上查看。 例：假设当前主机要运行三个微服务，则三个微服务镜像启动的时候，docker run后面跟 -v /logs:/home/opt/l...
ElasticSearch基础
MR_T3的博客
02-19 925
ElasticSearch基础知识与使用
EFK的安装与使用
Yang_J_Y的博客
12-26 2108
一、efk的介绍 EFK是去掉了logstash进行日志收集,而是使用了filebeat进行收集,使用filebeat的好处是其轻量级,和logstash资源消耗比起来,filebeat的使用量只有logstash的1/20.filebeat可以将收集起来的数据传输给logstash进行解析,也可以直接传给es进行存储和解析. filebeat下载地址:[filebea.tar.gz](htt...
efk安装
liukuan73的专栏
02-24 2304
http://www.dayunet.com/fluentd-splunk-elasticsearch-kibana.html
Elasticsearch(008)：es中cluster(集群)的查看、状态、操作
瘦子没有夏天
01-03 5628
集群（Cluster） 本篇文章主要学习Elastic-Search集群的相关操作。 1. 检查集群健康状态 GET /_cat/health?v 返回结果 epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wai...
K8S部署(Elasticsearch+Kibana+Fluentd)
liuchao666888的博客
10-26 5434
实验环境版本 Kubernetes：v1.14.1 Elasticsearch镜像：docker.elastic.co/elasticsearch/elasticsearch:7.6.2 Kibana 镜像：docker.elastic.co/kibana/kibana:7.6.2 Fluentd 镜像：quay.io/fluentd_elasticsearch/fluentd:v3.0.1 简介 1、Elasticsearch Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行
docker efk
最新发布
08-27
您可以使用Docker Compose或Kubernetes等工具来定义和管理EFK的容器化部署。这样，您可以更轻松地扩展和管理日志收集和分析环境。 请注意，以上是对EFK的简要介绍，实际部署和配置可能需要更详细的步骤和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值