k8s学习--k8s集群部署kafka详细过程

于 2024-07-01 11:45:12 发布
阅读量1.6k 收藏 23
点赞数 40
分类专栏： k8s 文章标签： kubernetes 学习 kafka 云原生 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwxvgdv/article/details/140086910
版权

文章目录

前言

kafka简介

kafka是什么

Kafka 是一个由 Apache 软件基金会开发的分布式流处理平台，主要用于实时数据流的处理和传输。它最初由 LinkedIn 开发，并于 2011 年开源。

kafka主要特点

1高吞吐量： Kafka 能够处理大量的数据流，适用于需要高吞吐量的场景。

2.分布式： Kafka 具有分布式架构，能够在多个节点上运行，提供高可用性和容错性。

3.持久化： Kafka 使用磁盘存储消息，确保数据的持久性。

4.高可靠性： 通过复制机制，Kafka 可以在节点故障时保持数据的完整性。

5可扩展性： Kafka 可以通过增加节点来轻松扩展其处理能力。

kafka主要组件

1.Producer（生产者）： 负责将数据发布到 Kafka 的 topic 中。

2.Consumer（消费者）： 负责从 Kafka 的 topic 中读取数据。

3.Broker（代理）： Kafka 集群中的每个节点称为 broker，负责存储和转发数据。

4.Topic（主题）： 消息的分类和组织单元，每个 topic 可以分成多个 partition（分区），每个分区存储部分数据。

5.Zookeeper： Kafka 使用 Zookeeper 进行分布式协调和管理集群状态。

kafka使用场景

**1.日志聚合：**集中收集和管理应用程序的日志。

**2.实时数据流处理：**用于实时分析和处理数据流。

**3.事件源驱动架构：**支持事件源驱动的应用程序架构。

**4.消息队列：**作为高吞吐量的消息队列系统，用于跨系统的数据传输。

kafka工作流程

1.生产者 将消息发送到指定的 topic。

2.Broker 接收到消息后，将其存储在磁盘上，并按照 topic 和 partition 进行组织。

3.消费者 从指定的 topic 和 partition 中读取消息。

小结

Kafka 的高吞吐量、低延迟、高可用性和扩展性使其成为处理大规模数据流的理想选择，广泛应用于数据管道、实时分析、日志聚合等领域。

k8s集群部署kafka

环境

虚拟机

Ip主机名cpu内存硬盘
192.168.10.11master012cpu双核4G100G
192.168.10.12worker012cpu双核4G100G
192.168.10.13worker022cpu双核4G100G
192.168.10.18nfs1cpu一核2G40G

版本 centos7.9
已部署k8s-1.27

需要做的前置配置
storageclass
详情请看
链接: k8s练习–StorageClass详细解释与应用
区别仅有ip不一致，按本次ip来

本章不再过多叙述

kafka部署过程

master配置
编写yaml文件

vim kafka.yaml

apiVersion: v1
kind: Service
metadata:
  name: kafka-svc
  labels:
    app: kafka-app
spec:
  clusterIP: None
  ports:
    - name: '9092'
      port: 9092
      protocol: TCP
      targetPort: 9092
  selector:
    app: kafka-app
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
  labels:
    app: kafka-app
spec:
  serviceName: kafka-svc
  replicas: 3
  selector:
    matchLabels:
      app: kafka-app
  template:
    metadata:
      labels:
        app: kafka-app
    spec:
      containers:
        - name: kafka-container
          image: doughgle/kafka-kraft
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 9092
            - containerPort: 9093
          env:
            - name: REPLICAS
              value: '3'
            - name: SERVICE
              value: kafka-svc
            - name: NAMESPACE
              value: default
            - name: SHARE_DIR
              value: /mnt/kafka
            - name: CLUSTER_ID
              value: oh-sxaDRTcyAr6pFRbXyzA
            - name: DEFAULT_REPLICATION_FACTOR
              value: '3'
            - name: DEFAULT_MIN_INSYNC_REPLICAS
              value: '2'
          volumeMounts:
            - name: data
              mountPath: /mnt/kafka
            - name: localtime
              mountPath: /etc/localtime
      volumes:
      - name: localtime
        hostPath:
          path: /etc/localtime
          type: ''

  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes:
          - "ReadWriteOnce"
        storageClassName: nfs-client
        resources:
          requests:
            storage: "1Gi"

yaml文件拆分解释
这个 YAML 文件定义了一个 Kafka 服务和一个有状态集合 (StatefulSet)。以下是对每个部分的解释：
service部分

apiVersion: v1
kind: Service
metadata:
  name: kafka-svc
  labels:
    app: kafka-app
spec:
  clusterIP: None
  ports:
    - name: '9092'
      port: 9092
      protocol: TCP
      targetPort: 9092
  selector:
    app: kafka-app

解释
apiVersion: v1: 指定 API 版本。
kind: Service: 资源类型为服务 (Service)。
metadata: 元数据，包括名称和标签。
name: kafka-svc: 服务的名称。
labels: 服务的标签，用于标识和选择服务。
app: kafka-app: 应用标签。
spec: 服务的规格。
clusterIP: None: 指定服务为无头服务（Headless Service），没有单一的 ClusterIP。
ports: 服务暴露的端口。
name: ‘9092’: 端口名称。
port: 9092: 服务端口号。
protocol: TCP: 协议为 TCP。
targetPort: 9092: 目标容器的端口号。
selector: 服务选择器，用于选择匹配的 Pod。
app: kafka-app: 应用标签。

StatefulSet部分

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
  labels:
    app: kafka-app
spec:
  serviceName: kafka-svc
  replicas: 3
  selector:
    matchLabels:
      app: kafka-app
  template:
    metadata:
      labels:
        app: kafka-app
    spec:
      containers:
        - name: kafka-container
          image: doughgle/kafka-kraft
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 9092
            - containerPort: 9093
          env:
            - name: REPLICAS
              value: '3'
            - name: SERVICE
              value: kafka-svc
            - name: NAMESPACE
              value: default
            - name: SHARE_DIR
              value: /mnt/kafka
            - name: CLUSTER_ID
              value: oh-sxaDRTcyAr6pFRbXyzA
            - name: DEFAULT_REPLICATION_FACTOR
              value: '3'
            - name: DEFAULT_MIN_INSYNC_REPLICAS
              value: '2'
          volumeMounts:
            - name: data
              mountPath: /mnt/kafka
            - name: localtime
              mountPath: /etc/localtime
      volumes:
      - name: localtime
        hostPath:
          path: /etc/localtime
          type: ''
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes:
          - "ReadWriteOnce"
        storageClassName: nfs-client
        resources:
          requests:
            storage: "1Gi"

解释
apiVersion: apps/v1: 指定 API 版本。
kind: StatefulSet: 资源类型为有状态集合 (StatefulSet)。
metadata: 元数据，包括名称和标签。
name: kafka: StatefulSet 的名称。
labels: StatefulSet 的标签。
app: kafka-app: 应用标签。
spec: StatefulSet 的规格。
serviceName: kafka-svc: 关联的服务名称。
replicas: 3: 副本数。
selector: 选择器，用于选择匹配的 Pod。
matchLabels:
app: kafka-app: 应用标签。
template: Pod 模板定义。
metadata: 模板的元数据，包括标签。
labels:
app: kafka-app: 应用标签。
spec: Pod 的规格。
containers: 容器定义。
name: kafka-container: 容器名称。
image: doughgle/kafka-kraft: 使用的镜像。
imagePullPolicy: IfNotPresent: 拉取镜像策略。
ports: 容器暴露的端口。
containerPort: 9092
containerPort: 9093
env: 环境变量。
REPLICAS: 副本数量。
SERVICE: 服务名称。
NAMESPACE: 命名空间。
SHARE_DIR: 共享目录。
CLUSTER_ID: 集群 ID。
DEFAULT_REPLICATION_FACTOR: 默认副本因子。
DEFAULT_MIN_INSYNC_REPLICAS: 默认最小同步副本数。
volumeMounts: 挂载卷。
name: data: 挂载的卷名称。
mountPath: /mnt/kafka: 挂载路径。
name: localtime: 挂载的本地时间卷。
mountPath: /etc/localtime: 挂载路径。
volumes: 卷定义。
name: localtime: 卷名称。
hostPath:
path: /etc/localtime: 主机路径。
type: ‘’: 类型为空。
volumeClaimTemplates: 卷声明模板。
metadata: 元数据，包括名称。
name: data: 卷名称。
spec: 卷规格。
accessModes:
“ReadWriteOnce”: 访问模式。
storageClassName: nfs-client: 存储类名称。
resources: 资源请求。
requests:
storage: “1Gi”: 存储请求大小。

这个定义确保了 Kafka 集群的高可用性和持久化存储，通过 StatefulSet 管理 Kafka 实例，并使用无头服务来保证每个实例都有一个固定的网络标识。

应用yaml文件

kubectl apply -f kafka.yaml

下载需要vpn
速度较慢，耐心等待
在这里插入图片描述
查看service

kubectl get svc

kafka应用测试

创建客户端pod

kubectl run kafka-client --rm -it --image bitnami/kafka:3.1.0 -- bash

过程较慢，稍等
报错
在这里插入图片描述

等半分钟，重试即可
在这里插入图片描述

查看默认存在的topic（Topic，即消息主题。）

 kafka-topics.sh --list --bootstrap-server kafka-svc.default.svc.cluster.local:9092

创建topic

kafka-topics.sh --bootstrap-server kafka-svc.default.svc.cluster.local:9092 --topic test01 --create --partitions 3 --replication-factor 2

在这里插入图片描述

kafka-topics.sh --list --bootstrap-server kafka-svc.default.svc.cluster.local:9092

在这里插入图片描述
创建数据生产者，添加数据

kafka-console-producer.sh --topic test1 --request-required-acks all --bootstrap-server kafka-svc.default.svc.cluster.local:9092
hello world

ctrl +c 退出

在这里插入图片描述在当前终端或另一个终端中创建数据消费者，消费数据

 kafka-console-consumer.sh --topic test1 --from-beginning --bootstrap-server kafka-svc.default.svc.cluster.local:9092

在这里插入图片描述
查看默认test topic相关描述信息

kafka-topics.sh --describe --topic test1 --bootstrap-server kafka-svc.default.svc.cluster.local:9092

在这里插入图片描述
查看test01 topic相关描述信息

kafka-topics.sh --describe --topic test01  --bootstrap-server kafka-svc.default.svc.cluster.local:9092

在这里插入图片描述

爱吃龙利鱼
关注
  • 40
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
在k8s中部署Kafka高可用集群超详细讲解
博客虽小，世界尽在其中
06-06 2982
本文详细讲解了如何在Kubernetes（简称K8s）中部署一个高可用的Kafka集群。Kafka作为流处理平台的佼佼者，其在大数据和实时数据流处理中发挥着重要作用。然而，在高负载和复杂环境中，如何确保Kafka集群的稳定性和高可用性成为了一个重要问题。 文章首先介绍了Kafka集群的基本架构和核心概念，包括Broker、Topic、Partition等，为读者提供了必要的前置知识。接着，文章深入探讨了如何在K8s中构建Kafka集群的步骤和注意事项，包括选择合适的Kafka镜像、配置Kafka Broke
【云原生 | Kubernetes 系列】—K8S部署kafka集群
云录
01-05 3391
这里要求能在外部访问到Kafka集群，需要配置三个外网地址，或者一个外网地址+三个端口，依次代理对应后端三个Kafka的Pod容器实例；地址: http://节点ip:30048/ke/account/signin?/ke/ 默认账号密码: admin/123456。1:准备存储,这里我用ceph,需要自己准备存储 2:下载包:kafka_2.12-2.8.2.tgz。1: kafka kafka_2.12-2.8.2版本的Dockerfile镜像制作。3:创建kafka集群 kafka1.yaml。
K8s部署zk集群和kafka集群
热门推荐
qq_25409421的博客
06-24 3万+
本文演示如何在 K8s下部署 Kafka 集群，并且搭建后除了可以从 K8s 内部访问 Kafka 服务，也支持从 K8s 集群外部访问 Kafka 服务。本次我们使用 StatefulSet 方式搭ZooKeeper 集群，使用 Service&Deployment 搭建 Kafka 集群。
在K8s下部署Kafka集群
芸灵fly的博客
07-01 4194
说明 今天来记录一下在K8s下部署Kafka集群，本以为K8s发展到今天已经有很多人踩过坑了，安装个Kafka问题也不大，可自己还是遇到了坑o(╥﹏╥)o，由于我的K8s集群是1master多worker，所以可能多master的情况下配置也不一样，请酌情查看。 快速开始 master_ip:192.168.128.52 先创建一个命名空间，之后全在这操作 kubectl create namespace zookeeper Zookeeper集群的安装 创建zookeeper-svc.ya
k8s部署kafka集群
MssGuo的博客
11-11 4358
k8s 安装kafka集群
k8s 中部署kafka集群
weixin_43632687的博客
12-15 4026
k8s 部署kafka集群
Kafka上K8S实战
SmartCodeTech的博客
03-02 6911
背景 随着业务规模的发展，需要的kafka集群越来越来，这给部署与管理带来了很大的挑战。我们期望能够利用K8S优秀的扩容能力与快速部署能力，为日常的工作减负。所以就kafka上K8S的可行性方案进行了调研。 像kafka集群这种，涉及到的组件比较多，且都是有状态的集群，业界采用自定义operator的解决方案。目前GitHub上有多个相关的仓库，根据社区活跃度及使用数等综合考虑，此次采用Strimzi Github地址。 kafka组件交互图 方案 使用阿里云K8S集群部署Strimzi 由
K8S环境快速部署Kafka(K8S外部可访问)
程序员欣宸的博客
04-12 1万+
本文通过实战展示了如何在K8S环境部署kafka集群，并且K8S环境外部也能使用此服务
ochonetes-kafka:通过 K8SOchopod 即时部署 Kafka！
06-08
去看看了解有关这个神奇过程的详细信息。 你想要的是将这两个家伙部署在同一个集群范围内，他们会找到对方。 我说这很容易吧？ 如果您好奇，请尝试部署少于 3 个容器。 然后容器将启动，但在满足此条件之前拒绝配置...
阿里云开源插件log-pilot搜集k8s部署应用容器内日志-kubernetes安装包和详细文档笔记整理
05-29
阿里云开源插件Log-Pilot是一款专为Kubernetes（k8s）设计的日志收集工具，它能够有效地从运行在集群中的容器内收集应用程序日志，以帮助运维人员进行监控、故障排查和数据分析。Log-Pilot支持多种数据源，包括容器...
debezium-k8s:Debezium具有调控器和MySQL
04-18
这个文件很可能是Debezium-K8s的主配置或者部署脚本，可能包含了设置Debezium实例、配置连接到MySQL数据库以及如何在Kubernetes集群中运行的详细信息。使用Shell脚本，用户可以方便地在本地或远程环境中部署和管理...
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
k8s-elk.tar.gz
01-12
标题 "k8s-elk.tar.gz" 暗示了一个基于Kubernetes（k8s）部署的ELK（Elasticsearch, Logstash, Kibana）日志管理系统，结合了Kafka和Filebeat组件。ELK是流行的数据收集、分析和可视化解决方案，尤其适用于日志管理...
一文教你在k8s中部署单机版kafka（保姆级教程）
最新发布
博客虽小，世界尽在其中
06-05 2488
本文详细阐述了在Kubernetes（k8s）集群中部署单机版Apache Kafka的步骤和注意事项。Kafka是一个分布式流处理平台，广泛应用于大数据处理、实时日志分析、事件驱动微服务等场景。在k8s中部署Kafka可以充分利用其容器编排和自动化管理的优势，提高Kafka集群的可用性和可伸缩性。 文章首先介绍了Kafka的基本概念，包括主题（Topic）、分区（Partition）、生产者（Producer）、消费者（Consumer）等，并解释了为什么选择k8s作为Kafka的部署环境。接着，文章详细
14.Kafka系列之K8S部署集群
算法小生
05-21 2247
Apache Kafka 不依赖 Apache Zookeeper的版本，被社区称之为 Kafka Raft 元数据模式，简称KRaft模式。KRaft运行模式的Kafka集群，不会将元数据存储在 Apache ZooKeeper中。即部署新集群的时候，无需部署ZooKeeper集群，因为Kafka将元数据存储在 Controller 节点的 KRaft Quorum中。
k8s kafka部署实战
走向CTO的路上...
05-25 1946
使用 k8s 提供的命令行工具 kubectl 创建 Kafka Service，将 Kafka 集群暴露在 k8s 集群外部。使用 Kafka 提供的命令行工具来测试 Kafka部署后，可以使用 Kafka 提供的命令行工具来测试 Kafka 是否正常工作。这个文件定义了一个 Service，将 Kafka 集群暴露在 k8s 集群外部，并将 Kafka 的 9092 端口暴露出来。以上测试命令中的 kafka-0 可以替换为 Kafka 集群中的任意一个 Pod 名称，都可以进行测试。
基于k8s搭建kafka集群
qq_36944458的博客
10-20 600
注：查看日志如下，表示kafka服务已启动。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱吃龙利鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值