kubernetes-EFK

最新推荐文章于 2023-11-10 14:40:46 发布
最新推荐文章于 2023-11-10 14:40:46 发布
阅读量247 收藏 1
点赞数
分类专栏： linux基础 日志处理 文章标签： elasticsearch centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang688098/article/details/120327715
版权

EFK

主流的 ELK（Elasticsearch，Logstash，Kibana）目前已经转变为 EFK（Elasticsearch，Filebeat or Fluentd，Kibana），对于容器云的日志方案业内也普遍推荐采用 Fluentd

logstash支持所有主流日志类型，插件支持最丰富，可以灵活DIY，但性能较差，JVM容易导致内存使用量高。

fluentd支持所有主流日志类型，插件支持较多，性能表现较好。
logtail占用机器cpu、内存资源最少，结合阿里云日志服务的E2E体验良好。

注意事项：

生产环境中，fluentd收集上来的日志可以输出到外部的es集群，建议单独部署es集群，因为占用内存资源较大，可以将外部es集群通过svc的方式给集群内部资源提供服务，如果要部署在k8s集群内，建议将es部署在单独的三台node节点

1. fluentd-elasticsearch-kibana部署

官方地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

1.下载相关yaml文件

[root@VM-0-7-centos ~]# git clone https://github.com/kubernetes/kubernetes.git
[root@VM-0-7-centos ~]# cd kubernetes/cluster/addons/fluentd-elasticsearch

2.部署es

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f create-logging-namespace.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f es-statefulset.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f es-service.yaml

2.1查看es状态

[root@VM-0-7-centos ~]# kubectl get po -n logging
NAME                      READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0   1/1     Running   0          3m58s
elasticsearch-logging-1   1/1     Running   0          49s

2.2查看es集群状态

#将svc改为NodePort类型
[root@VM-0-7-centos fluentd-elasticsearch]# cat es-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-logging
  namespace: logging
  labels:
    k8s-app: elasticsearch-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Elasticsearch"
spec:
#  clusterIP: None
  ports:
    - name: db
      port: 9200
      protocol: TCP
      targetPort: 9200
    - name: transport
      port: 9300
      protocol: TCP
      targetPort: 9300
  publishNotReadyAddresses: true
  selector:
    k8s-app: elasticsearch-logging
  sessionAffinity: None
  type: NodePort

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get svc -n logging
NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
elasticsearch-logging   NodePort   10.247.252.38    <none>        9200:30748/TCP,9300:31191/TCP   3m43s
[root@VM-0-7-centos fluentd-elasticsearch]# curl 10.247.252.38:9200/_cat/health?pretty
1629878634 08:03:54 kubernetes-logging yellow 1 1 2 2 0 0 1 0 - 66.7%

3.部署fluentd

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f fluentd-es-configmap.yaml 
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f fluentd-es-ds.yaml

* 直接创建fluentd-es-ds.yaml会报错，注释securityContext[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-empqyNKy-1631772616397)(/tfl/pictures/202108/tapd_68571556_1629876804_38.png)]

3.1查看fluentd状态

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get po -n logging
NAME                      READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0   1/1     Running   0          8m54s
fluentd-es-v3.1.1-cjjgg   1/1     Running   0          16s
fluentd-es-v3.1.1-jhrkr   1/1     Running   0          16s
fluentd-es-v3.1.1-xt77z   1/1     Running   0          16s

4.部署kibana

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f kibana-deployment.yaml
[root@VM-0-7-centos fluentd-elasticsearch]# kubectl apply -f kibana-service.yaml

* 直接创建kibana-deployment.yaml会报错，注释securityContext[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PKgKrm4A-1631772616400)(/tfl/pictures/202108/tapd_68571556_1629879307_13.png)]

4.1查看kibana状态

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get po -n logging
NAME                              READY   STATUS    RESTARTS   AGE
elasticsearch-logging-0           1/1     Running   0          24m
fluentd-es-v3.1.1-cjjgg           1/1     Running   0          15m
fluentd-es-v3.1.1-jhrkr           1/1     Running   0          15m
fluentd-es-v3.1.1-xt77z           1/1     Running   0          15m
kibana-logging-6fc8c7c7b8-b5rqt   1/1     Running   0          13s

4.2修改kibana访问类型为svc

[root@VM-0-7-centos fluentd-elasticsearch]# cat kibana-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: kibana-logging
  namespace: logging
  labels:
    k8s-app: kibana-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Kibana"
spec:
  ports:
  - port: 5601
    protocol: TCP
    targetPort: ui
  selector:
    k8s-app: kibana-logging
  type: NodePort

4.3查看svc访问kibana

[root@VM-0-7-centos fluentd-elasticsearch]# kubectl get svc -n logging
NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
elasticsearch-logging   NodePort   10.247.252.38    <none>        9200:30748/TCP,9300:31191/TCP   8m36s
kibana-logging          NodePort   10.247.254.105   <none>        5601:31125/TCP                  5m3s

4.4访问kibana地址

  • http://宿主机ip:svc端口
    http://1.14.97.124:31125
    在这里插入图片描述
    在这里插入图片描述

ELK

Filebeat+kafka/Redis+Logstash+ES+Kibana部署

链接地址：https://github.com/dotbalo/k8s/tree/master/efk-7.10.2

1.下载相关yaml文件

[root@VM-0-7-centos ~]# git clone https://github.com/dotbalo/k8s.git
[root@VM-0-7-centos ~]# cp -rp k8s/efk-7.10.2 ./elk
[root@VM-0-7-centos ~]# rm -fr k8s/

2.部署filebeat

# 1、编写filebeat资源配置清单
[root@k8s-master01 filebeat]# vim filebeat-cm.yaml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeatconf
data:
  filebeat.yml: |-
    filebeat.inputs:
    - input_type: log
      paths:
        - /data/log/*/*.log
      tail_files: true
      fields:
        pod_name: '${podName}'
        pod_ip: '${podIp}'
        pod_deploy_name: '${podDeployName}'
        pod_namespace: '${podNamespace}'
      tags: [test-filebeat]
    output.kafka:
      hosts: ["kafka:9092"]
      topic: "test-filebeat"
      codec.json:
        pretty: false
      keep_alive: 30s
      
# 2、编写logstash资源配置清单       
[root@k8s-master01 filebeat]# vim logstash-cm.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: logstash-configmap
data:
  logstash.yml: |
    http.host: "0.0.0.0"
    path.config: /usr/share/logstash/pipeline
  logstash.conf: |
    # all input will come from filebeat, no local logs
    input {
      kafka {
              enable_auto_commit => true
              auto_commit_interval_ms => "1000"
              bootstrap_servers => "kafka:9092"
              topics => ["test-filebeat"]
              codec => json
          }
    }
    output {
       stdout{ codec=>rubydebug}
       if [fields][pod_namespace] =~ "logging" {
           elasticsearch {
             hosts => ["elasticsearch-logging:9200"]
             index => "%{[fields][pod_namespace]}-s-%{+YYYY.MM.dd}"
          }
       } else {
          elasticsearch {
             hosts => ["elasticsearch-logging:9200"]
             index => "no-index-%{+YYYY.MM.dd}"
          }
       }
    }

# 3、logstash-service.yaml
[root@k8s-master01 filebeat]# vim logstash-service.yaml 
kind: Service
apiVersion: v1
metadata:
  name: logstash-service
spec:
  selector:
    app: logstash
  ports:
  - protocol: TCP
    port: 5044
    targetPort: 5044
  type: ClusterIP

# 4、logstash-deploy.yaml
[root@k8s-master01 filebeat]# vim logstash-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: logstash-deployment
spec:
  selector:
    matchLabels:
      app: logstash
  replicas: 1
  template:
    metadata:
      labels:
        app: logstash
    spec:
      containers:
      - name: logstash
        image: docker.elastic.co/logstash/logstash-oss:7.10.2
        ports:
        - containerPort: 5044
        volumeMounts:
          - name: config-volume
            mountPath: /usr/share/logstash/config
          - name: logstash-pipeline-volume
            mountPath: /usr/share/logstash/pipeline
      volumes:
      - name: config-volume
        configMap:
          name: logstash-configmap
          items:
            - key: logstash.yml
              path: logstash.yml
      - name: logstash-pipeline-volume
        configMap:
          name: logstash-configmap
          items:
            - key: logstash.conf
              path: logstash.conf

# 5、编写测试app的资源配置清单，filebeat以边车模式跟应用容器在同一pod下运行，共享日志目录
[root@k8s-master01 filebeat]# vim app.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app
  labels:
    app: app
    env: release
spec:
  selector:
    matchLabels:
      app: app
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  # minReadySeconds: 30
  template:
    metadata:
      labels:
        app: app
    spec:
      nodeSelector:
         kubernetes.io/hostname: k8s-node02
      containers:
        - name: filebeat                        
          image: elastic/filebeat:7.10.2
          resources:
            requests:
              memory: "100Mi"
              cpu: "10m"
            limits:
              cpu: "200m"
              memory: "300Mi"
          imagePullPolicy: IfNotPresent
          env:
            - name: podIp
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.podIP
            - name: podName
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            - name: podNamespace
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
            - name: podDeployName
              value: app
            - name: TZ
              value: "Asia/Shanghai"
          securityContext:
            runAsUser: 0
          volumeMounts:
            - name: logpath
              mountPath: /data/log/app/
            - name: filebeatconf
              mountPath: /usr/share/filebeat/filebeat.yml 
              subPath: usr/share/filebeat/filebeat.yml
        - name: app
          image: alpine:3.6 
          imagePullPolicy: IfNotPresent
          volumeMounts:
            - name: logpath
              mountPath: /home/tomcat/target/
            - name: tz-config
              mountPath: /etc/localtime
            - mountPath: /usr/share/zoneinfo/Asia/Shanghai
              name: tz-config
            - mountPath: /etc/timezone
              name: timezone
          env:
            - name: TZ
              value: "Asia/Shanghai"
            - name: LANG
              value: C.UTF-8
            - name: LC_ALL
              value: C.UTF-8
            - name: ENV
              value: k8srelease
            - name: XMS
              value: "2048m"
            - name: XMX
              value: "2048m"
            - name: MEMORY_LIMIT
              valueFrom:
                resourceFieldRef:
                  resource: requests.memory
                  divisor: 1Mi
          command:
            - sh
            - -c
            - sleep 360000
          ports:
            - containerPort: 8080
              name: tomcat
      volumes:
        - name: tz-config
          hostPath:
            path: /usr/share/zoneinfo/Asia/Shanghai
        - hostPath:
            path: /etc/timezone
            type: ""
          name: timezone
        - name: logpath
          emptyDir: {}
        - name: filebeatconf
          configMap:
            name: filebeatconf
            items:
              - key: filebeat.yml
                path: usr/share/filebeat/filebeat.yml

# 6、应用资源配置清单
[root@k8s-master01 filebeat]# kubectl create -f filebeat-cm.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-cm.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-service.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f logstash-deploy.yaml -n logging
[root@k8s-master01 filebeat]# kubectl create -f app.yaml -n logging

# 7、查看pod是否正常运行
root@k8s-master01 kafka]# kubectl get pod -n logging 
NAME                                   READY   STATUS    RESTARTS   AGE
app-65cc5f557b-g7kqs                   2/2     Running   0          21m
elasticsearch-logging-0                1/1     Running   2          22h
elasticsearch-logging-1                1/1     Running   2          22h
kafka-0                                1/1     Running   0          22h
kafka-1                                1/1     Running   0          22h
kafka-2                                1/1     Running   0          22h
kibana-logging-6778fdcd79-7gcvd        1/1     Running   7          21h
logstash-deployment-85bcdd4755-9v9l2   1/1     Running   3          25m
zookeeper-0                            1/1     Running   0          22h
zookeeper-1                            1/1     Running   0          22h
zookeeper-2                            1/1     Running   0          22h

# 8、模拟日志上报

# 模拟之前先打开logstash的日志，可以看到上报上来的日志
[root@k8s-master01 ~]# kubectl logs -f -n logging logstash-deployment-85bcdd4755-9v9l2

# 进入测试容器，模拟上报
[root@k8s-master01 filebeat]# kubectl exec -it -n logging app-65cc5f557b-2brc5 -c app -- sh
/ # touch /home/tomcat/target/app.log
/ # for i in `seq 1 2000` ; do echo $i >> /home/tomcat/target/app.log ; done

打开kibana页面，添加索引，查看是否有日志上报

whlxiaofei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch-7.9.1，EFK安装包
10-16
elasticsearch-7.9.1-linux-x86_64.tar.gz elasticsearch-analysis-ik-7.9.1.zip filebeat-7.9.1-linux-x86_64.tar.gz kibana-7.9.1-linux-x86_64.tar.gz
EFK在windows的安装和使用
七星程序员的博客
01-02 1752
什么是EFK？ Elasticsearch：一个分布式、高扩展、高实时的搜索与数据分析引擎。 Filebeat：轻量型日志采集器。 Kibana：是一款开源的数据分析和可视化平台，可以当做是Elasticsearch的可视化操作界面。 下载 配置截取条件 配置 可以使用postman来配置 提交路径（提交方式为put）： 127.0.0.1:9200/_ingest/pipeline/qixin...
EFK 8.2.0 日志管理系统
moderate_people的博客
05-10 971
windows 实现EFK日志管理系统，8.2.0（最新版）
EFK 环境搭建
weixin_41377777的博客
02-18 394
EFK 环境搭建前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np impo
EFK — 安装部署
李少侠
02-09 545
目录 文章目录目录安装Elasticsearch安装Kibana下载安装配置创建日志文件启动访问安装Filebeat下载安装配置设置数据采集模块访问Kibana 安装Elasticsearch Elasticsearch安装 安装Kibana 下载安装 $ curl -O https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz $ curl https://artifacts.elastic.co/dow
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd松紧带在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符在您...
kubernetes-learning.pdf
06-04
k8s学习 介绍 序⾔ 课程介绍 Docker 基础 Docker 简介 ...搭建 EFK ⽇志系统 CI/CD: 动态 Jenkins Slave Jenkins Pipeline 部署 Kubernetes 应⽤ Jenkins BlueOcean Harbor Gitlab Gitlab CI Devops
follow-me-install-kubernetes-cluster：和我一步步部署kubernetes
02-02
follow-me-install-kubernetes-cluster：和我一步步部署kubernetes
argocd-infra-efk:kustomization布局以在kubernetes中部署efk堆栈
03-25
ArgoCD-EFK-部署概述在kubernetes中部署elsticsearch，fluentd和kibana所需的所有yaml文件资料夹结构文件夹结构如下： --- environments | | | --- overlays | | | --- prod | | | --- namespace | | | | | --- ...
kubernetes-kargo-logging-monitoring：使用kargo部署kubernetes集群
02-03
通过具有日志记录（EFK）和监视（Prometheus）支持的kargo部署kubernetes 您会得到什么： Kargo ：一种强大，灵活的方式来构建，热升级/迁移和扩展kubernetes（k8s） 正在运行的主节点的X数量：k8（用于容器编排）...
EFK-release-1.13分支镜像5
12-02
K8s上部署EFK的镜像，这些镜像是以github官方地址build的，包括alpine-3.6、elasticsearch-v6.3.0、fluentd-elasticsearch-v2.2.0、kibana-oss-6.3.2四个镜像及其yaml文件。 这些镜像是以github release-1.13 build出来的。由于文件比较大，分了7个文件出来，分批上传
部署EFK
qq_45507961的博客
10-04 548
1 下载EFK wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.4.2-linux-x86_64.tar.gz && tar xf filebeat-8.4.2-linux-x86_64.tar.gz -C /usr/local wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.2-linux-
Centos7部署EFK7.8详细步骤+最终图表展示
m0_62049948的博客
02-07 562
使用了Elasticsearch、Filebate、Kibana搭建的日志管理系统，最后有图表展示。过程详细。
ES查看集群信息(健康状态、分片、索引等)
热门推荐
迎风悟极道的专栏
07-06 3万+
查看ES的集群信息，如：健康状态、分片、索引等
es查看集群状态常用命令
江晓龙的博客
09-22 2698
active_shards_percent_as_number这个值如果低于100说明集群数据正确性存在问题，集群状态为yellow或者red都会使这个值低于100。1.查看集群数据的正确率。2.查看集群索引的状态。
ES常用查询命令
最新发布
耕耘
11-10 5265
es常用查询命令
kubernetes（k8s）中部署 efk
小云的博客
12-28 1012
Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elastics...
Kubernetes-基于EFK进行统一的日志管理原理(kibana查询语法)
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
11-01 4519
EFK安装部署参考:https://blog.csdn.net/luanpeng825485697/article/details/83312662 1、统一日志管理的整体方案 通过应用和系统日志可以了解Kubernetes集群内所发生的事情，对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说，都会具有某种日志机制。因此，大多数容器引擎同样被设计成支持某种日志机制。对于容器化应用程序...
【Elasticsearch】ES常用命令
superone52033的博客
01-17 857
elasticsearch(es)常用指令
docker efk
08-27
您可以使用Docker Compose或Kubernetes等工具来定义和管理EFK的容器化部署。这样，您可以更轻松地扩展和管理日志收集和分析环境。 请注意，以上是对EFK的简要介绍，实际部署和配置可能需要更详细的步骤和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值