Kubernetes 安装EFK 插件

最新推荐文章于 2023-10-11 16:40:29 发布
最新推荐文章于 2023-10-11 16:40:29 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Henry_Wang_/article/details/79659195
版权

安装EFK插件


我们通过在每台node上部署一个以DaemonSet方式运行的fluentd来收集每台node上的日志。Fluentd将docker日志目录/var/lib/docker/containers和/var/log目录挂载到Pod中，然后Pod会在node节点的/var/log/pods目录中创建新的目录，可以区别不同的容器日志输出，该目录下有一个日志文件链接到/var/lib/docker/contianers目录下的容器日志输出。


创建 es.rabc.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: efk
  namespace: kube-system


---


kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: efk
subjects:
  - kind: ServiceAccount
    name: efk
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin

  apiGroup: rbac.authorization.k8s.io


创建  es-rc.yaml

apiVersion: v1
kind: ReplicationController
metadata:
  name: elasticsearch-logging-v1
  namespace: kube-system
  labels:
    k8s-app: elasticsearch-logging
    version: v1
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
spec:
  replicas: 2
  selector:
    k8s-app: elasticsearch-logging
    version: v1
  template:
    metadata:
      labels:
        k8s-app: elasticsearch-logging
        version: v1
        kubernetes.io/cluster-service: "true"
    spec:
      serviceAccountName: efk
      containers:
      - image: sz-pg-oam-docker-hub-001.tendcloud.com/library/elasticsearch:v2.4.1-2
        name: elasticsearch-logging
        resources:
          limits:
            cpu: 1000m
          requests:
            cpu: 100m
        ports:
        - containerPort: 9200
          name: db
          protocol: TCP
        - containerPort: 9300
          name: transport
          protocol: TCP
        volumeMounts:
        - name: es-persistent-storage
          mountPath: /data
        env:
        - name: "NAMESPACE"
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
      volumes:
      - name: es-persistent-storage
        emptyDir: {}


创建 es.svc.yaml

apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-logging
  namespace: kube-system
  labels:
    k8s-app: elasticsearch-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Elasticsearch"
spec:
  ports:
  - port: 9200
    protocol: TCP
    targetPort: db
  selector:

    k8s-app: elasticsearch-logging


创建 fluentd-es-ds.yaml

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd-es-v1.22
  namespace: kube-system
  labels:
    k8s-app: fluentd-es
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    version: v1.22
spec:
  template:
    metadata:
      labels:
        k8s-app: fluentd-es
        kubernetes.io/cluster-service: "true"
        version: v1.22
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ''
    spec:
      serviceAccountName: efk
      containers:
      - name: fluentd-es
        image: 10.10.20.60:5000/fluentd-elasticsearch:1.22
        command:
          - '/bin/sh'
          - '-c'
          - '/usr/sbin/td-agent 2>&1 >> /var/log/fluentd.log'
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      nodeSelector:
        beta.kubernetes.io/fluentd-ds-ready: "true"
      tolerations:
      - key : "node.alpha.kubernetes.io/ismaster"
        effect: "NoSchedule"
      terminationGracePeriodSeconds: 30
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:

          path: /var/lib/docker/containers


创建  kibana-rc-svc.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kibana-logging
  namespace: kube-system
  labels:
    k8s-app: kibana-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: kibana-logging
  template:
    metadata:
      labels:
        k8s-app: kibana-logging
    spec:
      serviceAccountName: efk
      containers:
      - name: kibana-logging
        image: 10.10.20.60:5000/kibana:v4.6.1-1
        resources:
          limits:
            cpu: 100m
          requests:
            cpu: 100m
        env:
          - name: "ELASTICSEARCH_URL"
            value: "http://elasticsearch-logging:9200"
          - name: "KIBANA_BASE_URL"
            value: "/api/v1/proxy/namespaces/kube-system/services/kibana-logging"
        ports:
        - containerPort: 5601
          name: ui
          protocol: TCP
  
  
---


apiVersion: v1
kind: Service
metadata:
  name: kibana-logging
  namespace: kube-system
  labels:
    k8s-app: kibana-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Kibana"
spec:
  ports:
  - port: 5601
    protocol: TCP
    targetPort: ui
  selector:

    k8s-app: kibana-logging


给Node设置标签

定义 DaemonSet fluentd-es-v1.22 时设置了 nodeSelector beta.kubernetes.io/fluentd-ds-ready=true，所以需要在期望运行 fluentd 的 Node 上设置该标签；

[root@k8s-master efk]# kubectl get node

NAME          STATUS    ROLES     AGE       VERSION
10.10.20.61   Ready     <none>    54d       v1.8.6

10.10.20.62   Ready     <none>    54d       v1.8.6



创建文件

[root@k8s-master efk]# kubectl create  -f .
serviceaccount "efk" created
clusterrolebinding "efk" created
replicationcontroller "elasticsearch-logging-v1" created
service "elasticsearch-logging" created
daemonset "fluentd-es-v1.22" created
deployment "kibana-logging" created

service "kibana-logging" created

检查执行结果

[root@k8s-master efk]# kubectl get deployment -n kube-system|grep kibana

kibana-logging         1         1         1            1           3m



kibana Pod 第一次启动时会用较长时间(10-20分钟)来优化和 Cache 状态页面，可以 tailf 该 Pod 的日志观察进度：

[root@k8s-master efk]# kubectl logs kibana-logging-985c56fbd-gkdml -n kube-system -f

ELASTICSEARCH_URL=http://elasticsearch-logging:9200

server.basePath: /api/v1/proxy/namespaces/kube-system/services/kibana-logging
{"type":"log","@timestamp":"2018-03-22T11:35:47Z","tags":["info","optimize"],"pid":7,"message":"Optimizing and caching bundles for kibana and statusPage. This may take a few minutes"}
{"type":"log","@timestamp":"2018-03-22T11:42:24Z","tags":["info","optimize"],"pid":7,"message":"Optimization of bundles for kibana and statusPage complete in 397.30 seconds"}
{"type":"log","@timestamp":"2018-03-22T11:42:25Z","tags":["status","plugin:kibana@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:25Z","tags":["status","plugin:elasticsearch@1.0.0","info"],"pid":7,"state":"yellow","message":"Status changed from uninitialized to yellow - Waiting for Elasticsearch","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:25Z","tags":["status","plugin:kbn_vislib_vis_types@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["status","plugin:markdown_vis@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["status","plugin:metric_vis@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["status","plugin:spyModes@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["status","plugin:statusPage@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["status","plugin:table_vis@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}
{"type":"log","@timestamp":"2018-03-22T11:42:26Z","tags":["listening","info"],"pid":7,"message":"Server running at http://0.0.0.0:5601"}
{"type":"log","@timestamp":"2018-03-22T11:42:32Z","tags":["status","plugin:elasticsearch@1.0.0","info"],"pid":7,"state":"yellow","message":"Status changed from yellow to yellow - No existing Kibana index found","prevState":"yellow","prevMsg":"Waiting for Elasticsearch"}

{"type":"log","@timestamp":"2018-03-22T11:42:36Z","tags":["status","plugin:elasticsearch@1.0.0","info"],"pid":7,"state":"green","message":"Status changed from yellow to green - Kibana index ready","prevState":"yellow","prevMsg":"No existing Kibana index found"}


访问Kibana


在 Settings -> Indices 页面创建一个 index（相当于 mysql 中的一个 database），选中 Index contains time-based events，使用默认的 logstash-* pattern，点击 Create ;

可能遇到的问题

如果你在这里发现Create按钮是灰色的无法点击，且Time-filed name中没有选项，fluentd要读取/var/log/containers/目录下的log日志，这些日志是从/var/lib/docker/containers/${CONTAINER_ID}/${CONTAINER_ID}-json.log链接过来的，查看你的docker配置，—log-dirver需要设置为json-file格式，默认的可能是journald，参考docker logging。


创建Index后，可以在 Discover 下看到 ElasticSearch logging 中汇聚的日志；


Henry_Wang_
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
我们将设置Elasticsearch和Kibana，然后设置Fluentd松紧带在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符在您的Kubernetes集群中部署ECK 安装自定义资源定义和操作员及其RBAC规则： kubectl apply ...
EFK安装指南
lavendYu的博客
05-11 1693
1.官网下载安装包,官网地址:https://www.elastic.co/downloads本次使用版本为elasticsearch-6.1.1.tar.gzkibana-6.1.1-linux-x86_64.tar.gz2.环境准备:Java环境：JDK1.8（若未安装，需先安装）3.安装elasticsearch-6.1.1.tar.gza.tar -zxvf elasticsearch-6...
部署EFK
m0_59430185的博客
11-22 803
文章目录前言一、拓扑图二、配置环境三、配置tomcat服务器1. 安装 JDK ，配置 JAVA 环境2. 安装配置 Tomcat3. Tomcat 配置说明4. 启动 Tomcat5. 优化 Tomcat 启动速度四、配置 Elasticsearch 环境五、安装elasticsearch集群1.部署 Elasticsearch 软件3.安装 elasticsearch-head 插件六、部署filebeat七、node1安装 Kibana 前言 通过filebeat监控tomcat日志，提交给es，并由
EFK部署及应用
tootsy_you的博客
10-11 1659
概述 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种。 在没有分布式日志的时候，每次出问题了需要查询日志的时候，需要登录到Linux服务器，使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行，然后cat -n xxx|tail -n +n行|head -n 显示多少行，这样不仅效率低下，而且对于程序异常也不方便查询，日志少还好，一旦整合出来的日志达到几个...
【云原生】【k8s】Kubernetes+EFK构建日志分析安装部署
2302_77582029的博客
08-16 2753
【云原生】【k8s】Kubernetes+EFK构建日志分析安装部署
EFK安装所需要的全部包.rar
11-02
这个的使用方法见这篇博客：https://cuichongxin.blog.csdn.net/article/details/121095743
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
kubernetes-learning.pdf
06-04
安装 Dashboard 插件 17.1 7.2 7.3 7.4 7.5 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 9.1 9.2 9.3 10.1 10.2 10.3 11.1 11.2 11.3 深⼊理解 Pod YAML ⽂件 静态 Pod Pod Hook Pod 的健康检查 初始化容器 常⽤对象...
容器化安装环境EFK文档
07-29
容器化安装环境EFK
K8s部署轻量级日志收集系统EFK（elasticsearch + filebeat + kibana）
qq_43479188的博客
10-11 1748
Pod 的选择基于标签。这个pod一次运行了两个容器，分别是kibanah和elasticsearch，并且把elasticsearch容器中的/usr/share/elasticsearch/data目录下的内容，挂载到了es-pv-claim下，我们可以在第三步中的NFS服务器共享目录中找到挂载的数据。点击侧边栏，选择discover，就能看到Filebeat收集到的容器日志，可以按照自己的需求进行日志筛选。的 Pod，这些 Pod 的端口 9200 和 9300 将被公开，并且可以通过相应的。
容器化安装环境EFK搭建
Coder_Boy_的博客
07-29 1230
在Kibana中配置索引[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接配置筛选字段 这里按照时间创建成功了查看最终索引数据模拟手动添加日志 查看控制台实时采集了我们到Kibana里查询下 可以看到最终的日志信息可以通过搜索或者日期筛选，字段筛选，等等各种操作查看你需要的日志信息。或者可以在 日志目录下 查看日志。
使用docker部署EFK-7.8版本详细教程
W1124824402的博客
03-30 632
使用docker部署EFK7.8版本，部署简单详细。
EFK——安装部署（监控nginx日志）
qq_49296785的博客
09-20 778
EFK安装部署_监控nginx日志环境：开始部署：1、修改主机名2、修改hosts文件3、时间同步4、关闭防火墙5、安装jdk6、安装zookeeper7、编辑zoo.cfg文件8、创建data目录9、配置myid10、运行zookeeper服务11、查看zookeeper状态12、安装kafka13、编辑/usr/local/kafka/config/server.properties14、启动kafka15、创建一个topic16、模拟生产者17、模拟消费者18、开始模拟19、查看当前的topic20、
kubernetes（k8s）中部署 efk
小云的博客
12-28 992
Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elastics...
十分钟搭建一个EFK集群
孤独，平庸，落魄
05-30 1941
快速部署搭建ELKELK 介绍环境信息架构二进制部署一，系统初始化。二，elasticsearch安装(所有节点)三，filebeat安装使用 ELK 介绍 ELK 是三个开源软件的缩写，提供一套完整的企业级日志平台解决方案。 分别是： • Elasticsearch：搜索、分析和存储数据 • Logstash ：采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储 • Kibana：数据可视化 • Beats ：集合了多种单一用途数据采集器，用于实现从边缘机器向 Logstash 和 E
k8s--基础--24.3--efk--安装efk组件
zhou920786312的博客
08-16 1255
通过上面几个步骤，我们已经在k8s集群成功部署了elasticsearch，fluentd，kibana内容3个Elasticsearch Pod一个Kibana Pod一组作为DaemonSet部署的Fluentd Pod。
云原生|kubernetes|搭建部署一个稳定高效的EFK日志系统
zsk_john的技术分享专用博客
10-16 2702
采集器fluentd的部署。【整体关键字段介绍】【部分关键变量介绍】
Kubernetes集群部署安装EFK（Elasticsearch，Fluentbit，Kibana）
weixin_36034547的博客
12-05 978
EFK是 Elasticsearch，Fluentbit，Kibana的缩写，是k8s集群常用的日志解决方案。 将EFK部署到k8s集群上也比较简单，安装步骤如下： 前期准备 为EFK创建namespace “logging”。 kubectl create namespace logging 安装Helm（Helm是kubernetes的包管理平台，目前的版本是3.0+,安装办法参考官网） c...
rancher 安装efk
最新发布
11-15
Rancher 是一个开源的容器管理平台，可以帮助用户在大规模容器环境中管理和部署应用程序。而 EFK 是一套用于日志管理的解决方案，包括 Elasticsearch、Fluentd 和 Kibana。 要在 Rancher 中安装 EFK，首先需要在 Rancher 管理界面中创建一个新的集群。在创建集群时，需要选择合适的集群配置，确保它满足运行 EFK 所需的资源需求。 接下来，需要在 Rancher 中安装 Helm 3，Helm 是一个 Kubernetes 的包管理工具，可以方便地部署各种应用程序。安装好 Helm 后，就可以使用 Helm 命令行工具来安装 EFK。 在安装 EFK 之前，需要先安装并配置好 Elasticsearch、Fluentd 和 Kibana 的 Helm Chart。可以通过添加 Helm 仓库并搜索相应的 Chart 来找到适用于 EFK 的 Chart。然后，使用 Helm 命令行工具来安装这些 Chart，按照提示进行配置。 安装完成后，可以在 Rancher 管理界面中查看 EFK 的状态，确保所有组件都正确运行。接下来，就可以开始使用 EFK 来管理和分析容器的日志了。 在安装和配置过程中，需要确保集群中的节点拥有足够的资源，并且网络连接稳定。同时，还需要依据实际需求来调整 EFK 的配置，确保它能够满足用户对日志管理的需求。最后，还要定期监控和维护 EFK，确保其稳定运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值