K8S的Kafka监控(Prometheus+Grafana)

最新推荐文章于 2024-06-13 13:05:24 发布
最新推荐文章于 2024-06-13 13:05:24 发布
阅读量689 收藏 23
点赞数 15
分类专栏： 程序员 文章标签： kubernetes kafka prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84048832/article/details/137362315
版权
本文介绍了如何在Kubernetes环境中部署NFS服务、使用Helm安装Kafka、Zookeeper、Prometheus和Grafana，并详细说明了配置kafka-exporter以从Kafka获取数据并将其集成到Prometheus监控系统。同时，文章强调了个人技术提升的重要性，特别是对于Java开发者的学习资源分享。
摘要由CSDN通过智能技术生成

  1. NFS服务：IP地址192.168.50.135，文件夹/volume1/nfs-storageclass-test

  2. Helm：2.16.1

  3. Kafka：2.0.1

  4. Zookeeper：3.5.5

  5. Prometheus：2.0.0

  6. Grafana：5.0.0

准备完毕就可以开始实战了；

确认kafka-exporter参数

即将部署的kafka-exporter要从kafka取得数据，因此要准备kafka-exporter参数；

  1. 查看kafka的服务中TYPE是ClusterIP的那个，如下图红框所示：

在这里插入图片描述

  1. 上述红框中的服务名字是kafka、端口是9092，因此稍后在kafka-exporter中配置的kafka信息就是kafka:9092

实际操作

  1. 添加Helm仓库(该仓库中有我们需要的kafka-exporter)：helm repo add gkarthiks https://gkarthiks.github.io/helm-charts

  2. 下载kafka-exporter：helm fetch gkarthiks/prometheus-kafka-exporter

  3. 解压下载的chart文件：tar -zxvf prometheus-kafka-exporter-0.1.0.tgz

  4. 进入解压后的目录：cd prometheus-kafka-exporter

  5. 修改values.yaml文件，如下图红框，kafka:9092就是同一namespace下访问kafka的地址：

在这里插入图片描述

  1. 在values.yaml文件所在目录执行：helm install --name-template kafka-exporter -f values.yaml . --namespace kafka-test （kafka的namespace是kafka-test，这里的namespace要和kafka保持一致）

  2. 查看服务和pod是否就绪：

在这里插入图片描述

  1. 此时我们部署好了kafka-exporter，能给prometheus提供监控数据了，但prometheus并不知道要来这里采集数据，因此接下来要配置prometheus；

  2. 确认kafka-exporter服务的访问地址，prometheus采集数据要用到，名字和端口如下图红框所示，因此可以拼接处跨namespace的访问地址：kafka-exporter-prometheus-kafka-exporter.kafka-test.svc.cluster.local:9308

在这里插入图片描述

  1. 如果您是参照《kubernetes1.15极速部署prometheus和grafana》部署的prometheus，请打开部署时下载的configmap.yaml文件，里面是prometheus的配置，如果是其他途径部署的，请按照自己的部署情况找到prometheus.yml的位置；

  2. configmap.yaml中增加下图红框中的内容，这样prometheus就可以采集kafka-exporter的数据了：

在这里插入图片描述

  1. 使得配置生效：kubectl apply -f configmap.yaml

  2. 此时的prometheus容器用的还是旧配置，为了让配置生效，要把prometheus的pod删除，这样K8S自动创建的新pod就用上了新的配置，找出prometheus的pod：kubectl get pods -n kube-system

在这里插入图片描述

  1. 删除旧的pod：kubectl delete pod prometheus-68545d4fd8-f5q2w -n kube-system

  2. 等待新的pod被自动创建；

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

img

最后如何让自己一步步成为技术专家

说句实话，如果一个打工人不想提升自己，那便没有工作的意义，毕竟大家也没有到养老的年龄。

当你的技术在一步步贴近阿里p7水平的时候，毫无疑问你的薪资肯定会涨，同时你能学到更多更深的技术，交结到更厉害的大牛。

推荐一份Java架构之路必备的学习笔记，内容相当全面！！！

成年人的世界没有容易二字，前段时间刷抖音看到一个程序员连着加班两星期到半夜2点的视频。在这个行业若想要拿高薪除了提高硬实力别无他法。

你知道吗？现在有的应届生实习薪资都已经赶超开发5年的程序员了，实习薪资26K，30K，你没有紧迫感吗？做了这么多年还不如一个应届生，真的非常尴尬！

进了这个行业就不要把没时间学习当借口，这个行业就是要不断学习，不然就只能被裁员。所以，抓紧时间投资自己，多学点技术，眼前困难，往后轻松！

【关注】+【转发】+【点赞】支持我！创作不易！
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
【点赞】支持我！创作不易！**
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！

2401_84048832
关注
  • 15
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kubernetes 部署单机版Kafka、zookeeper
04-18
kubernetes 部署单机版Kafka、zookeeper
kafka-operator
03-08
6. **监控与告警**: 通过集成 Prometheus 和 Grafana，Kafka-Operator 可以提供丰富的监控指标，帮助用户了解集群运行状况，并设置告警规则。 7. **安全增强**: 支持 TLS 加密和 SASL 认证，保护 Kafka 集群的数据...
K8S环境部署Prometheus
最新发布
codelearning的专栏
06-13 1388
记录在K8S 1.18版本环境下部署Prometheus 0.5版本。
Kafka的监控和报警机制
互联网知识分享
08-15 2298
的报警响应可以根据报警的严重程度和紧急程度来配置，包括自动恢复、手动处理和通知相关人员。根据监控指标的重要性和影响程度来设置报警级别，以便及时响应和处理重要的报警。的报警规则可以根据监控指标的阈值来配置，当监控指标超过阈值时触发报警。集群的运行状态和性能指标，并设置相应的报警规则和报警方式。内存使用率：用于监控Broker节点的内存使用情况，及时发现内存不足的情况。的报警策略可以根据报警的严重程度和紧急程度来配置，以便及时响应和处理报警。的监控和报警机制，包括监控指标、监控工具、报警配置和报警策略等。
k8s helm 安装prometheus-kafka-exporter 遇到问题
qq_15138049的博客
12-07 899
[root@hadoop03 helm]# helm install --name kafk-exporter /opt/module/k8s/helm/prometheus-kafka-exporter Error: parse error in "prometheus-kafka-exporter/charts/kafka/charts/common/templates/_secrets.tpl": template: prometheus-kafka-exporter/charts/kafka/cha
Kafka原理、集群、监控企业实战
03-31
kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 本课程详细讲解原理，以及集群搭建，使用Python/Java操作Kafka、并采用Prometheus监控Kafka，结合Grafana绘制出Kafka的监控大盘。 之前有报名过 《ELK/ELFK企业PB级日志系统实战》的同学建议学习本门课程 温馨提示： 课件在最后一节(课堂总结) 可以打包下载
基于kafka_exporter&prometheus&grafana的kafka监控实现
Pluto_CSND的博客
01-09 1122
其中，kafka监控账号：user/pwd【md5(pwd)】 监听端口号：–web.listen-address=:19091 kafka_exporter。使用sudo权限，后台执行Prometheus启动命令，并启用lifecycle功能，指定监听端口为9090。报错原因：kafka_exporter版本太低！kafka_exporter启动脚本。启动grafana，默认端口3000。下载kafka_exporter。启动kafka_exporter。下载kafka监控模板。
在kubernetes上运行apache kafka并打开shift
03-01
8. **监控和扩展**: 安装Prometheus和Grafana等监控工具，以便监控Kafka的性能指标。根据需求，可以通过调整Kafka和ZooKeeper的副本数量实现水平扩展。 9. **使用Kafka Connect**: Kafka Connect是Kafka的一个模块...
kubernetes-demo:Spring Kafka Kubernetes演示
03-18
- 使用Prometheus和Grafana进行性能监控。 - ELK Stack（Elasticsearch, Logstash, Kibana）或Fluentd收集和分析应用日志。 通过这个"Kubernetes-Demo: Spring Kafka Kubernetes演示"项目，你可以了解到如何将...
建设DevOps统一运维监控平台.pdf
06-29
1. 基于k8s的容器云监控：使用cAdvisor、Heapster、Influxdb等工具监控容器性能。 2. 监控利器Prometheus：专门针对容器化环境的监控工具，能够高效地收集和分析时序数据。 总结来说，建设DevOps统一运维监控平台...
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
（四） prometheus + grafana + alertmanager 配置Kafka监控-附件资源
03-02
（四） prometheus + grafana + alertmanager 配置Kafka监控-附件资源
prometheus监控kafka
ApexPredator的博客
10-26 1501
prometheus监控kafka
prometheus监控Kafka (kafka_exporter和 jmx_exporter)
u010533742的博客
08-30 3619
一、kafka的安装方法参考:https://blog.csdn.net/u010533742/article/details/117260505 二、kafka_exporter部暑 mkdir /data/kafka_exporter -p cat > /data/kafka_exporter/start.sh << 'EOF' docker rm -f kafka_exporter docker run -d \ --restart=always \ --name kafka_exp
prometheus+Grafana+Kafka+ELK的基础搭建过程以及Kafka告警的基本实现
白王_的博客
02-26 2500
设置宿主机可访问桥接的虚拟机 在虚拟机[CentOS 8]上进行如下操作 $ systemctl stop firewalld.service # 关闭虚拟机防火墙，需要root权限 $ ifconfig # 查看虚拟机ip地址 $ nohup ./node_exporter & # 启动各种应用,例：node_exporter $ netstat -tln # 查看监听端口 此后可在宿主机上通过 http://虚拟机IP:9100/metrics 访问部署在虚拟机上的node_exporte
MXtrans + InfluxDB + Grafana实现Kafka性能指标监控
zoubf的专栏
02-16 3690
MXtrans + InfluxDB + Grafana实现Kafka性能指标监控 架构 一般系统监控通常分为3部分： 数据采集 分析与转换 展现(可视化) 数据采集 对于前端应用，一般需要埋点，对用户的行为进行记录。 如果不埋点，则需要通过Pagespeed、PhantomJS这样的工具去模拟用户行为进行测试。后端的系统通常有
k8s监控实战-grafana出图_alert告警
qq_43076479的博客
08-18 2022
1 使用炫酷的grafana出图 prometheus的dashboard虽然号称拥有多种多样的图表,但是实在太简陋了,一般都用专业的grafana工具来出图grafana官方dockerhub地址grafana官方github地址grafana官网 1.1 部署grafana 1.1.1 准备镜像 docker pull grafana/grafana:5.4.2 docker tag 6f18ddf9e552 harbor.zq.com/infra/grafana:v5.4.2 docker
在k8s上部署 zookeeper + kafka 集群 配置教程
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace： ``` kubectl create namespace zookeeper-kafka ``` 2. 部署Zookeeper 接下来，我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务： ``` apiVersion: v1 kind: Service metadata: name: zookeeper spec: selector: app: zookeeper ports: - name: client port: 2181 protocol: TCP - name: follower port: 2888 protocol: TCP - name: leader port: 3888 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zookeeper image: zookeeper:3.5.8 ports: - name: client containerPort: 2181 - name: follower containerPort: 2888 - name: leader containerPort: 3888 volumeMounts: - name: datadir mountPath: /data env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name - name: ZOO_SERVERS value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888 volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Zookeeper StatefulSet，并创建一个名为“zookeeper”的Service，暴露Zookeeper的客户端端口2181，follower端口2888和leader端口3888。 3. 部署Kafka 现在，我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例： ``` apiVersion: v1 kind: Service metadata: name: kafka spec: type: NodePort selector: app: kafka ports: - name: kafka port: 9092 nodePort: 30092 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: wurstmeister/kafka:2.13-2.7.0 ports: - name: kafka containerPort: 9092 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181 - name: KAFKA_ADVERTISED_LISTENERS value: PLAINTEXT://$(hostname -f):9092 - name: KAFKA_LISTENERS value: PLAINTEXT://0.0.0.0:9092 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: "3" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service，它将Kafka的9092端口暴露为NodePort 30092。 4. 验证部署 现在，您可以使用以下命令检查Zookeeper和Kafka是否正在运行： ``` kubectl get pods -n zookeeper-kafka ``` 您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。 接下来，您可以使用以下命令检查Kafka是否正在监听端口30092（或您自己选择的端口）： ``` kubectl get services -n zookeeper-kafka ``` 您应该看到一个名为“kafka”的service，它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。 至此，您已经成功地在k8s上部署了zookeeper + kafka集群。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值