k8s搭建efk

最新推荐文章于 2024-08-06 11:43:15 发布

weixin_46220358

最新推荐文章于 2024-08-06 11:43:15 发布

阅读量601

点赞数

分类专栏：技术

本文链接：https://blog.csdn.net/weixin_46220358/article/details/104070884

版权

本文详细介绍了如何在Kubernetes集群中搭建Elasticsearch, Fluentd和Kibana（简称EFK）日志解决方案。首先，创建Elasticsearch集群，通过StatefulSet管理稳定存储的Pod，并配置高可用参数。接着，部署Kibana服务，使用NodePort暴露，并配置连接Elasticsearch集群。最后，利用DaemonSet部署Fluentd，收集并转发容器日志到Elasticsearch。整个过程覆盖了从配置存储类、创建服务到安装和验证各组件的完整步骤。" 125796998,14841158,初始化libiomp5md.dll错误及GPU调用问题解决,"['Python', '开发语言', 'GPU编程', '错误调试', '内存管理']

摘要由CSDN通过智能技术生成

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。

Elasticsearch 通常与 Kibana 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。

Fluentd是一个流行的开源数据收集器，我们将在 Kubernetes 集群节点上安装 Fluentd，通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

我们先来配置启动一个可扩展的 Elasticsearch 集群，然后在 Kubernetes 集群中创建一个 Kibana 应用，最后通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。

1.创建 Elasticsearch 集群

在创建 Elasticsearch 集群之前，我们先创建一个命名空间。

新建一个kube-efk.yaml

k8s搭建efk

kubectl apply -f kube-efk.yaml

kubectl get ns 查看有没有这个efk的命名空间

这里我们使用3个 Elasticsearch Pod 来避免高可用下多节点集群中出现的“脑裂”问题，当一个或多个节点无法与其他节点通信时会产生“脑裂”，可能会出现几个主节点。

一个关键点是您应该设置参数discover.zen.minimum_master_nodes=N/2+1，其中N是 Elasticsearch 集群中符合主节点的节点数，比如我们这里3个节点，意味着N应该设置为2。这样，如果一个节点暂时与集群断开连接，则另外两个节点可以选择一个新的主节点，并且集群可以在最后一个节点尝试重新加入时继续运行，在扩展 Elasticsearch 集群时，一定要记住这个参数。

首先创建一个名为 elasticsearch 的无头服务，新建文件 elasticsearch-svc.yaml，文件内容如下：

k8s搭建efk

定义了一个名为 elasticsearch 的 Service，指定标签app=elasticsearch，当我们将 Elas