【云原生】k8s集群部署最新版ELFK日志采集平台

最新推荐文章于 2025-04-24 16:06:32 发布
最新推荐文章于 2025-04-24 16:06:32 发布
阅读量3.9k 收藏 24
点赞数 28
分类专栏： 云原生K8S，零基础到进阶实战 文章标签： 云原生 kubernetes ELK kibana filebeat elasticsearch logstash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlefun591/article/details/147380185
版权

在这里插入图片描述

✨✨ 欢迎大家来到景天科技苑✨✨

🎈🎈 养成好习惯，先赞后看哦~🎈🎈

🏆 作者简介：景天科技苑
🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。
🏆《博客》：Golang开发，Rust开发，Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生k8s，linux，shell脚本等实操经验，网站搭建，数据库等分享。

所属的专栏：云原生K8S，零基础到进阶实战
景天的主页：景天科技苑

在这里插入图片描述

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【ELK】最新版ELK日志搜集，过滤与展示，手把手教你搭建企业级ELK日志平台
景天科技苑
04-17 6199
ELFK是一套完整的日志集中处理方案。 E：ElasticSearck ES 分布式索引型非关系数据库 存储logstash输出的日志 全文检索引擎，保存的格式是json格式 L：logstash 基于java语言开发的，数据收集引擎。日志的收集，可以对数据进行过滤，分析，汇总，以标准格式输出 K：Kiabana 是es的可视化工具。对es存储的数据进行可视化展示，分析和检索。 F: FileBeat是一个轻量级日志采集器，Filebeat属于Beats家族的6个成员之一。
K8s-K8s部署Zookeeper+Kafka+ELFK+持久化数据
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
02-21 1629
K8s环境下容器化部署`Zookeeper+Kafka+ELFK`日志收集系统
ELFK日志收集与可视化平台
weixin_64447699的博客
06-18 1303
ELFK指的是（通常被称为ELK Stack），以及Filebeat的组合。ELK Stack是一套开源工具，用于搜索、分析和可视化日志数据，而Filebeat是一个轻量级的日志数据传输器，可以将日志从服务器发送到Logstash或Elasticsearch。Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，基于 Apache Lucene 构建。它被设计用于实时的全文搜索、结构化搜索、分析以及组合这两者。
K8S 部署 EFK 并设置中文
小五
07-05 1364
如果能打开这个网址的话直接用这个命令安装,打不开的话可能需要挂梯子。安装operator 和 RBAC 规则安装好以后查看。
ELFK 分布式日志收集系统
2302_77503226的博客
03-10 1411
本文章介绍了ELFK分布式日志收集系统的部署和使用，各个服务和工具的详细讲解。
深入解析主流数据库体系架构：从关系型到云原生
w2361734601的博客
04-20 766
数据库架构的选择需综合业务需求、数据规模及团队能力。传统OLTP场景可优先考虑MySQL或PostgreSQL；海量数据分析推荐ClickHouse或BigQuery；高并发场景适用Cassandra或Redis；金融级系统可选TiDB或Spanner。未来，云原生与智能化将成为数据库演进的核心方向。
5.4.云原生与服务网格
2301_79902294的博客
04-23 703
spring.cloud.kubernetes.discovery.primary-port-name=http # 指定K8s主端口。spring.cloud.nacos.discovery.register-enabled=false # 禁用Nacos注册。spring.cloud.nacos.config.export=true # 开启配置同步。scaler.aliyun.com/max: "10000" # 阿里云弹性增强。.setCount(1000) # QPS阈值。
Linux Awk 深度解析：10个生产级自动化与云原生场景
云原生布道者 | 自动化效率控 | 行走的工具箱 | 技术文档复读机 | 运维架构师
04-24 562
摘要：Awk 作为 Linux 文本处理三剑客中的“数据工程师”，凭借字段分割、模式匹配和数学运算三位一体的能力，成为处理结构化文本（日志、CSV、配置文件）的终极工具。本文聚焦自动化与云原生环境高频需求，覆盖日志聚合、数据清洗、性能分析、实时监控等场景，提供可直接复用的 Awk 代码模板与深度原理剖析。
从平台工程视角出发，重塑云原生后端的工程体系
2401_88419115的博客
04-24 982
平台工程是一种构建和维护“开发者平台”的工程实践，其目标是为开发团队提供一致、高效、自助式的开发和交付环境，使团队聚焦业务逻辑，而非基础设施。平台工程是对 DevOps 能力的“产品化”：CI/CD 管道 → 平台内建流水线服务容器化工具链 → 可复用的镜像构建模版服务注册治理 → 自动接入服务网格安全权限控制 → 集成统一认证授权云原生技术已经不再是“能不能用”的问题，而是“如何更好地用”的问题。对大部分企业而言，将 DevOps 能力平台化、工具化、服务化，是云原生后端真正落地的关键路径。
中小企业技术跃迁：云原生后端如何实现高效低成本系统建设
qq_20245171的博客
04-24 710
虽然云原生最初起源于互联网巨头，但其理念与工具在不断下沉，正在成为中小企业“数字化转型”的重要推手。通过合理规划与选型，即使是人员有限、资源受限的团队，也可以逐步构建起稳定、可扩展、自动化的现代后端系统架构。中小企业无需一次性迈入“完美架构”，而是可以从服务化开始，从容器部署起步，从监控治理着手，一步步走向真正“云原生”的未来。云原生不是终点，而是通向现代技术体系的高速路。无论你身处大厂还是创业公司，早一点启程，就早一步拥有“技术红利”。
基于事件驱动的云原生后端架构设计：从理念到落地
最新发布
2401_88419115的博客
04-24 997
事件驱动不仅是后端技术的一次“通信模式”更新，更是一种系统建模思维的革新。它代表了后端从单体/同步模式向松耦合、可扩展、低延迟模式的迁移。在云原生环境下，这种转型尤为顺畅。当你拥有了容器、Kubernetes、Kafka、Knative 等工具后，构建事件驱动的系统变得不再高不可攀。而最终带来的收益也将是深远的：系统响应更快，能应对爆发式请求；服务开发独立，部署自由组合；架构弹性增强，稳定性更高；运维与监控可视，问题更易追溯。“微服务是一种服务拆分策略，而事件驱动才是让服务真正独立运行的关键。
云原生--CNCF-2-五层生态结构（成熟度3层分类，云原生生态5层结构）
weisian的博客
04-23 899
核心目标：为开发者提供构建云原生应用的工具和框架。关键工具：编程语言与框架：Rust、Go（支持WebAssembly）。Kubernetes Operators（自定义资源控制器）。CI/CD工具：Docker，一种轻量级的容器化技术，允许开发者将应用及其依赖打包成一个独立的容器；Helm（Kubernetes包管理工具，简化应用部署）。作用：这一层主要关注应用的定义、开发和部署过程。包括编程语言、框架、工具等，帮助开发者更高效地构建云原生应用。
金融系统上云之路：云原生后端架构在金融行业的演化与实践
qq_20245171的博客
04-24 744
在金融行业迈向数字化、智能化、开放化的过程中，云原生后端架构不只是“技术升级”，更是一种支撑稳定运行、高效开发、智能扩展的“数字底座”。它让金融系统更灵活、更可靠、更敏捷，为新业务提供快速试错和安全扩展的土壤。未来，随着监管技术、合规云平台、国产化替代等趋势不断演进，云原生将在更多金融场景下落地生根。而每一个系统架构师，都将在这场革新中扮演关键角色。
Docker Compose 和 Kubernetes（k8s）区别
何哥的博客
04-21 915
前言：Docker Compose 和 Kubernetes（k8s）是容器化技术中两个常用的工具，但它们的定位、功能和适用场景有显著区别。​：运行容器化的应用负载（Pod），每个节点包含 kubelet、kube-proxy 等组件。​：通过 CNI（容器网络接口）和 CSI（容器存储接口）插件扩展功能。​：企业级容器编排平台，解决生产环境中的复杂性、弹性和可靠性需求。​：自动化管理跨多个节点的容器部署、调度和生命周期。​：自动重启崩溃的容器、替换不可用节点上的 Pod。
Ubuntu K8s集群安全加固方案
lswzw的博客
04-24 383
在Ubuntu系统上部署Kubernetes集群时，若服务器拥有外网IP，需采取多层次安全防护措施以确保集群安全。本方案通过系统防火墙配置、TLS通信启用、网络策略实施和RBAC权限控制四个核心层面，构建安全的Kubernetes环境。安全防护不应仅停留在单点措施，而应形成纵深防御体系，从物理主机到集群控制面再到应用层进行全面保护。在生产环境中，需确保所有安全配置均符合最小权限原则，并定期进行审计与监控。Ubuntu服务器作为Kubernetes集群节点，其基础系统安全至关重要。首先，需确保系统时间同步，这
kubernetes》》k8s》》证书有效期
u013400314的博客
04-23 195
通常，Kubernetes的证书是由kubeadm生成的，所以可能需要修改kubeadm的源码或者配置。
kubernetes》》k8s》》Dashboard
u013400314的博客
04-24 246
因为我的Kubernetes 版本是 v1.28.2。
【k8s系列7-更新中】kubeadm搭建Kubernetes高可用集群-三主两从
晨埃
04-23 149
结合前面的章节，这里需要5台机器，可以先创建一台虚拟机作为基础虚拟机。优先把5台机器的公共部分优先在一台机器上配置好。,之后又要输入密码，这个密码就是那台机器的登录密码。3、防火墙设置、SELINUX设置、时间同步配置。1、在master01和master02上安装。6、安装ipset及ipvsadm。2、HAProxy配置及启动。5、配置内核转发及网桥过滤。2、主机名宇IP地址解析。1、修改每台机的静态IP。2、设置每台机器的主机名。1、配置好静态IP地址。4、升级系统操作内核。8、Docker准备。
k8s的yaml文件里的volume跟volumeMount的区别
2303_78135757的博客
04-22 441
k8s的yaml文件里的volume跟volumeMount的区别
k8s部署zk和kafka
03-28
<think>好的，我现在需要帮助用户了解在Kubernetes上部署Zookeeper和Kafka的最佳实践。首先，我需要回顾用户提供的引用内容，确保回答准确。 用户提到了四个引用，涉及部署流程、错误处理、存储配置等。比如引用[1]提到了日志流向，引用[2]有验证集群状态的命令，引用[3]提到了PodDisruptionBudget的错误，引用[4]提到创建PVC的步骤。这些都需要整合到最佳实践中。 首先，我应该分步骤来组织回答，确保结构清晰。可能包括集群规划、存储配置、部署顺序、网络配置、监控日志等部分。每个部分需要结合引用内容，比如存储部分引用NFS作为存储，需要提到PVC的创建，如引用[4]中的pvc.yaml。同时，要处理可能出现的错误，如引用[3]中的API版本问题，需要建议用户检查Kubernetes版本。 另外，部署顺序很重要，Zookeeper需要先部署，因为Kafka依赖它。引用[2]提到进入Pod验证集群状态，这部分可以放在验证步骤中。日志部分，引用[1]的日志流向可以作为最佳实践的一部分，说明如何集成ELFK。 还要考虑高可用和资源分配，比如StatefulSet的使用，反亲和性设置，以及资源限制。健康检查的部分，如就绪探针和存活探针，确保服务稳定。 最后，相关问题部分需要生成与部署相关的问题，比如持久化存储选择、监控工具、故障排除等，参考用户之前的问题模式。 需要检查LaTeX格式是否正确，所有数学表达式用$...$，独立公式用$$...$$。但当前问题可能不涉及数学公式，所以可能不需要使用。不过要确保代码块正确，用反引号标注。 总结步骤： 1. 集群规划：命名空间、资源分配、反亲和性。 2. 存储配置：使用PVC和持久化存储如NFS，引用[4]。 3. 部署Zookeeper：StatefulSet，配置注意事项，处理PodDisruptionBudget错误（引用[3]）。 4. 部署Kafka：同样用StatefulSet，依赖Zookeeper，配置Broker ID和广告地址。 5. 网络配置：使用Headless Service和NodePort/LoadBalancer。 6. 监控日志：集成ELFK，引用[1]的日志流向。 7. 验证和维护：使用kubectl exec验证集群状态，如引用[2]的命令。 8. 高可用优化：PDB、滚动更新策略。 然后生成相关问题，比如优化存储、监控方案、故障排查方法等。</think>### Kubernetes 部署 Zookeeper 和 Kafka 最佳实践 #### 1. **集群规划与资源隔离** - **命名空间隔离**：建议为 Zookeeper 和 Kafka 创建独立的命名空间（例如 `kafka`），避免资源冲突[^4]。 - **资源分配**：根据集群规模为 Pod 分配合理的 CPU 和内存。例如： ```yaml resources: requests: memory: "2Gi" cpu: "1" limits: memory: "4Gi" cpu: "2" ``` - **反亲和性配置**：通过 `podAntiAffinity` 确保 Zookeeper 和 Kafka 节点分布在不同的物理节点上，提高容灾能力。 #### 2. **持久化存储配置** - **使用 PVC 和 StorageClass**：优先选择高性能存储（如 SSD），并通过 `PersistentVolumeClaim` 动态分配存储。例如： ```yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: kafka-pvc spec: storageClassName: nfs-storage # 引用 NFS 或其他存储方案[^3] accessModes: - ReadWriteOnce resources: requests: storage: 100Gi ``` - **数据持久化验证**：确保 Kafka 和 Zookeeper 的 `dataDir` 正确挂载到 PVC。 #### 3. **部署顺序与依赖** 1. **先部署 Zookeeper**：Kafka 强依赖 Zookeeper 的协调服务。使用 StatefulSet 部署 Zookeeper 集群： ```yaml apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper-headless replicas: 3 template: spec: containers: - name: zookeeper image: zookeeper:3.8.0 env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name # 自动生成节点 ID ``` > 若出现 `PodDisruptionBudget` 错误，检查 Kubernetes 版本并确认 `policy/v1` API 可用性。 2. **部署 Kafka 集群**：同样使用 StatefulSet，并配置与 Zookeeper 的连接： ```yaml env: - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-headless.kafka.svc.cluster.local:2181 - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name # 自动分配 Broker ID ``` #### 4. **网络与服务配置** - **Headless Service**：为 Zookeeper 和 Kafka 创建 Headless Service 实现内部 DNS 解析： ```yaml apiVersion: v1 kind: Service metadata: name: kafka-headless spec: clusterIP: None ports: - port: 9092 ``` - **外部访问**：通过 NodePort 或 LoadBalancer 暴露 Kafka 服务，并配置 `advertised.listeners` 确保客户端能正确连接。 #### 5. **监控与日志集成** - **日志收集**：参考日志流向 `Kafka → Fluentd → Logstash → Elasticsearch → Kibana`，确保日志持久化和可视化[^1]。 - **健康检查**：配置 `livenessProbe` 和 `readinessProbe`： ```yaml livenessProbe: tcpSocket: port: 2181 # Zookeeper 端口 initialDelaySeconds: 30 ``` #### 6. **验证与维护** - **集群状态检查**：进入 Kafka Pod 执行命令验证： ```bash kubectl exec -it kafka-0 -n kafka -- /bin/bash bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` 输出应显示默认的 `__consumer_offsets` Topic[^2]。
评论 48
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

景天科技苑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值