Kubernetes Kafka 项目教程
1. 项目的目录结构及介绍
Kubernetes Kafka 项目的目录结构如下:
kubernetes-kafka/
├── 00-namespace.yml
├── 01-zookeeper-service.yml
├── 01-zookeeper.yml
├── 02-kafka-service.yml
├── 02-kafka.yml
├── 03-kafka-broker-0.yml
├── 03-kafka-broker-1.yml
├── 03-kafka-broker-2.yml
├── 04-kafka-manager.yml
├── 05-kafka-manager-service.yml
├── README.md
├── kafka-manager-deployment.yml
├── kafka-manager-service.yml
├── kafka-manager-volumes.yml
├── kafka-volumes.yml
├── rbac-namespace-default.yml
├── rbac-namespace-kafka.yml
├── rbac-namespace-zookeeper.yml
├── rbac-role-binding-kafka.yml
├── rbac-role-binding-zookeeper.yml
├── rbac-role-kafka.yml
├── rbac-role-zookeeper.yml
├── rbac-service-account-kafka.yml
├── rbac-service-account-zookeeper.yml
├── zookeeper-volumes.yml
└── zookeeper.yml
目录结构介绍
00-namespace.yml
:定义Kubernetes命名空间。01-zookeeper-service.yml
和01-zookeeper.yml
:定义Zookeeper服务和部署。02-kafka-service.yml
和02-kafka.yml
:定义Kafka服务和部署。03-kafka-broker-*.yml
:定义Kafka broker的部署。04-kafka-manager.yml
和05-kafka-manager-service.yml
:定义Kafka Manager的部署和服务。README.md
:项目说明文档。kafka-manager-*
:Kafka Manager相关的部署和服务文件。kafka-volumes.yml
:Kafka存储卷定义。rbac-*
:RBAC相关的角色、绑定和服务账户定义。zookeeper-volumes.yml
:Zookeeper存储卷定义。zookeeper.yml
:Zookeeper部署定义。
2. 项目的启动文件介绍
启动文件
00-namespace.yml
:创建Kubernetes命名空间。01-zookeeper.yml
:启动Zookeeper集群。02-kafka.yml
:启动Kafka集群。03-kafka-broker-*.yml
:启动Kafka broker实例。04-kafka-manager.yml
:启动Kafka Manager。
启动步骤
-
创建命名空间:
kubectl apply -f 00-namespace.yml
-
启动Zookeeper集群:
kubectl apply -f 01-zookeeper.yml
-
启动Kafka集群:
kubectl apply -f 02-kafka.yml
-
启动Kafka broker实例:
kubectl apply -f 03-kafka-broker-0.yml kubectl apply -f 03-kafka-broker-1.yml kubectl apply -f 03-kafka-broker-2.yml
-
启动Kafka Manager:
kubectl apply -f 04-kafka-manager.yml
3. 项目的配置文件介绍
配置文件
01-zookeeper.yml
:Zookeeper的配置文件。02-kafka.yml
:Kafka的配置文件。03-kafka-broker-*.yml
:Kafka broker的配置文件。04-kafka-manager.yml
:Kafka Manager的配置文件。
配置文件内容
01-zookeeper.yml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: zookeeper
namespace: kafka
spec: