最近在工作上调研k8s部署kafka集群的方案,以下配置和部署方案都是亲测可用,有问题可以评论或私我解决。
kafka需要依赖zookeeper
kafka的生产者与消费者需要在zookeeper中注册,不然消费者怎么知道生产者是否存活之类的哈哈。废话不多说,直接上干货!
本文用的是statefulset和动态存储部署zookeeper和kafka集群。
部署zookeeper的yaml
apiVersion: v1
kind: Service
metadata:
name: zk-headless
namespace: liulei
labels:
app: zk
spec:
ports:
- port: 2888
name: server
- port: 3888
name: leader-election
clusterIP: None #指定无头服务,需要对外暴露自行创建一个service
selector:
app: zk
---
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
name: zk-pdb
namespace: liulei
spec:
selector:
matchLabels:
app: zk
minAvailable: 2
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: zk #指定的zookeeper名称会在kafka.yaml里面用来配置和kafka连接,会创建pod为zk-0,zk-1,zk-2......这里只创建了三个
namespace: liulei
spec:
selector:
matchLabels:
app: zk
serviceName: zk-headless
replicas: 3
updateStrategy:
type: RollingUpdate # K8s 会将 StatefulSet 管理的 pod 分批次逐步替换掉
podManagementPolicy: OrderedReady # 设置为Parallel这样Pod的创建就不必等待,而是会同时创建、同时删除
template:
metadata:
labels:
app: zk
spec:
containers:
- name: k8s-zk
image: k8szk:1.0-3.4.10 #需要指定自己的镜像,可去阿里云上下载zookeeper镜像
imagePullPolicy: Always
resources: