k8s有状态部署kafka+zk集群3副本

最新推荐文章于 2024-05-08 09:33:41 发布
最新推荐文章于 2024-05-08 09:33:41 发布
阅读量388 收藏 10
点赞数 10
分类专栏： k8s部署中间件 文章标签： kubernetes kafka 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47415962/article/details/135406604
版权

1、部署zk集群yaml文件（kubectl apply -f xxxx.yml）



#namespace和name可修改成自己的喜欢的名字

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-path
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer  #延迟绑定参数，很重要

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-zookeeper-1      
spec :
  capacity:
    storage: 50Gi                                #存储空间，注意修改
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/public-midd/zookeeper-data      #存储本地的目录，注意修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - node-1                        #worker节点注意修改

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-zookeeper-2
spec :
  capacity:
    storage: 50Gi                                #存储空间，注意修改
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/public-midd/zookeeper-data      #存储本地的目录，注意修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - node-2                        #worker节点注意修改
                
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-zookeeper-3
spec :
  capacity:
    storage: 50Gi                                #存储空间，注意修改
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/public-midd/zookeeper-data      #存储本地的目录，注意修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - node-3                        #worker节点注意修改
---

apiVersion: v1
kind: Service
metadata:
  name: zookeeper-headless
  namespace: public-midd
  labels:
    app: zookeeper
spec:
  type: ClusterIP
  clusterIP: None
  publishNotReadyAddresses: true
  ports:
    - name: tcp-client
      port: 2181
      targetPort: client
    - name: tcp-follower
      port: 2888
      targetPort: follower
    - name: tcp-election
      port: 3888
      targetPort: election
  selector:
    app: zookeeper
---

apiVersion: v1
kind: Service
metadata:
  name: zookeeper
  namespace: public-midd
  labels:
    app: zookeeper
spec:
  type: ClusterIP
  sessionAffinity: None
  ports:
    - name: tcp-client
      port: 2181
      targetPort: client
    - name: tcp-follower
      port: 2888
      targetPort: follower
    - name: tcp-election
      port: 3888
      targetPort: election
  selector:
    app: zookeeper

---

apiVersion: v1
kind: ConfigMap
metadata:
  name: zookeeper-scripts
  namespace: public-midd
  labels:
    app: zookeeper
data:
  init-certs.sh: |-
    #!/bin/bash
  setup.sh: |-
    #!/bin/bash
    if [[ -f "/bitnami/zookeeper/data/myid" ]]; then
        export ZOO_SERVER_ID="$(cat /bitnami/zookeeper/data/myid)"
    else
        HOSTNAME="$(hostname -s)"
        if [[ $HOSTNAME =~ (.*)-([0-9]+)$ ]]; then
            ORD=${BASH_REMATCH[2]}
            export ZOO_SERVER_ID="$((ORD + 1 ))"
        else
            echo "Failed to get index from hostname $HOST"
            exit 1
        fi
    fi
    exec /entrypoint.sh /run.sh

---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: zookeeper
  namespace: public-midd
  labels:
    app: zookeeper
spec:
  replicas: 3
  podManagementPolicy: Parallel
  selector:
    matchLabels:
      app: zookeeper
  serviceName: zookeeper-headless
  updateStrategy:
    rollingUpdate: {}
    type: RollingUpdate
  template:
    metadata:
      annotations:
      labels:
        app: zookeeper
    spec:
      serviceAccountName: default
      affinity:
        nodeAffinity:                                      # node亲和性
          requiredDuringSchedulingIgnoredDuringExecution:  # 硬策略
            nodeSelectorTerms:
            - matchExpressions:
              - key: node-role.kubernetes.io/worker
                operator: In
                values:
                  - "true"
        podAntiAffinity:                                    # Pod反亲和性
          preferredDuringSchedulingIgnoredDuringExecution:  # 软策略,使Pod分布在不同的节点上
          - weight: 49                                      # 权重,有多个策略通过权重控制调度
            podAffinityTerm:
              topologyKey: app.kubernetes.io/name           # 通过app.kubernetes.io/name作为域调度  
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - zookeeper
      securityContext:
        fsGroup: 1001
      initContainers:
      containers:
        - name: zookeeper
          image: bitnami/zookeeper:3.8.0-debian-10-r0
          imagePullPolicy: "IfNotPresent"
          securityContext:
            runAsNonRoot: true
            runAsUser: 1001
          command:
            - /scripts/setup.sh
          resources:                                       # QoS 最高等级
            #limits:
              #cpu: 500m
              #memory: 500Mi
            requests:
              cpu: 500m
              memory: 500Mi
          env:
            - name: BITNAMI_DEBUG
              value: "false"
            - name: ZOO_DATA_LOG_DIR
              value: ""
            - name: ZOO_PORT_NUMBER
              value: "2181"
            - name: ZOO_TICK_TIME
              value: "2000"
            - name: ZOO_INIT_LIMIT
              value: "10"
            - name: ZOO_SYNC_LIMIT
              value: "5"
            - name: ZOO_PRE_ALLOC_SIZE
              value: "65536"
            - name: ZOO_SNAPCOUNT
              value: "100000"
            - name: ZOO_MAX_CLIENT_CNXNS
              value: "60"
            - name: ZOO_4LW_COMMANDS_WHITELIST
              value: "srvr, mntr, ruok"
            - name: ZOO_LISTEN_ALLIPS_ENABLED
              value: "no"
            - name: ZOO_AUTOPURGE_INTERVAL
              value: "0"
            - name: ZOO_AUTOPURGE_RETAIN_COUNT
              value: "3"
            - name: ZOO_MAX_SESSION_TIMEOUT
              value: "40000"
            - name: ZOO_SERVERS
              value: zookeeper-0.zookeeper-headless.public-midd.svc.cluster.local:2888:3888::1 zookeeper-1.zookeeper-headless.public-midd.svc.cluster.local:2888:3888::2 zookeeper-2.zookeeper-headless.public-midd.svc.cluster.local:2888:3888::3   #zk连接
            - name: ZOO_ENABLE_AUTH
              value: "no"
            - name: ZOO_HEAP_SIZE
              value: "1024"
            - name: ZOO_LOG_LEVEL
              value: "ERROR"
            - name: ALLOW_ANONYMOUS_LOGIN
              value: "yes"
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
          ports:
            - name: client
              containerPort: 2181
            - name: follower
              containerPort: 2888
            - name: election
              containerPort: 3888
          livenessProbe:
            failureThreshold: 6
            initialDelaySeconds: 30
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
            exec:
              command: ['/bin/bash', '-c', 'echo "ruok" | timeout 2 nc -w 2 localhost 2181 | grep imok']
          readinessProbe:
            failureThreshold: 6
            initialDelaySeconds: 5
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
            exec:
              command: ['/bin/bash', '-c', 'echo "ruok" | timeout 2 nc -w 2 localhost 2181 | grep imok']
          volumeMounts:
            - name: scripts
              mountPath: /scripts/setup.sh
              subPath: setup.sh
            - name: zookeeper-data
              mountPath: /bitnami/zookeeper
      volumes:
        - name: scripts
          configMap:
            name: zookeeper-scripts
            defaultMode: 0755
  volumeClaimTemplates:
  - metadata:
      name: zookeeper-data
    spec:
      storageClassName: local-path
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 50Gi


---
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: zookeeper-pdb
  namespace: public-midd
spec:
  selector:
    matchLabels:
      app: zookeeper
  minAvailable: 2     # 滚动更新的时候至少保留2个pod,防止宕机

2、部署kafka集群




#  local-sc.yml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-path
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer  #延迟绑定参数，很重要
---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-kafka-1      #修改
spec :
  capacity:
    storage: 30Gi       #确认
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/kafka-1     #修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - k8s-worker1      #修改

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-kafka-2  #修改
spec :
  capacity:
    storage: 30Gi  #确认
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/kafka-2   #修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - k8s-worker2  #修改
                
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-kafka-3          #修改
spec :
  capacity:
    storage: 30Gi   #确认
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-path
  local:
    path: /data/kafka-3 #修改
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values :
                - k8s-worker3  #修改

---
#部署 Service Headless，用于Kafka间相互通信
apiVersion: v1
kind: Service
metadata:
  name: kafka-headless
  namespace: public-midd
  labels:
    app: kafka
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: kafka
    port: 9092
    targetPort: kafka
  selector:
    app: kafka
---
#部署 Service，用于外部访问 Kafka
apiVersion: v1
kind: Service
metadata:
  name: kafka
  namespace: public-midd
  labels:
    app: kafka
spec:
  type: NodePort
  ports:
  - name: kafka
    port: 9092
    targetPort: kafka
    nodePort: 30092
  selector:
    app: kafka
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
  namespace: public-midd
  labels:
    app: kafka
spec:
  selector:
    matchLabels:
      app: kafka
  serviceName: kafka-headless
  podManagementPolicy: "Parallel"
  replicas: 3
  updateStrategy:
    type: "RollingUpdate"
  template:
    metadata:
      name: kafka
      labels:
        app: kafka
    spec: 
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:  
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - kafka
            topologyKey: kubernetes.io/hostname    
      securityContext:
        fsGroup: 1001
        runAsUser: 1001
      containers:
      - name: kafka
        image: bitnami/kafka:3.4.1          #bitnami/kafka:2.8.1-debian-11-r7 
        imagePullPolicy: "IfNotPresent"
        resources:
          #limits:
            #cpu: 500m
            #memory: 512Mi
          requests:
            cpu: 250m
            memory: 256Mi
        env:
        - name: MY_POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        - name: MY_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KAFKA_CFG_ZOOKEEPER_CONNECT
          value: zookeeper-0.zookeeper-headless.public-midd:2181,zookeeper-1.zookeeper-headless.public-midd:2181,zookeeper-2.zookeeper-headless.public-midd:2181           #修改Zookeeper Service 名称
        - name: KAFKA_PORT_NUMBER
          value: "9092"
        - name: KAFKA_CFG_LISTENERS
          value: "PLAINTEXT://:$(KAFKA_PORT_NUMBER)"
        - name: KAFKA_CFG_ADVERTISED_LISTENERS
          value: 'PLAINTEXT://$(MY_POD_NAME).kafka-headless.public-midd:$(KAFKA_PORT_NUMBER)'
        - name: ALLOW_PLAINTEXT_LISTENER
          value: "yes"
        - name: KAFKA_HEAP_OPTS
          value: "-Xmx512m -Xms512m"
        - name: KAFKA_CFG_LOGS_DIRS
          value: /opt/bitnami/kafka/data

        ports:
        - name: kafka
          containerPort: 9092
        livenessProbe:
          tcpSocket:
            port: kafka
          initialDelaySeconds: 10
          periodSeconds: 10
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 2
        readinessProbe:
          tcpSocket:
            port: kafka
          initialDelaySeconds: 5
          periodSeconds: 10
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 6
        volumeMounts:
        - name: kafka-data
          mountPath: /bitnami/kafka
      restartPolicy: Always
      terminationGracePeriodSeconds: 300
  volumeClaimTemplates:
    - metadata:
        name: kafka-data
      spec:
        storageClassName: local-path    #指定为上面创建的 storageclass
        accessModes:
          - "ReadWriteOnce"
        resources:
          requests:
            storage: 30Gi        #修改

---

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: kafka-pdb
  namespace: public-midd
spec:
  selector:
    matchLabels:
      app: kafka
  minAvailable: 2

coke-520
关注
  • 10
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-compose部署zk+kafka+storm集群的实现
01-09
集群部署总览 172.22.12.20 172.22.12.21 172.22.12.22 172.22.12.23 172.22.12.24 zoo1:2181 zoo2:2182 zoo3:2183 zkui:9090 (admin/manager) kafka1:9092 kafka2:9092 kafka3:9092 kafdrop:9000 ...
K8s部署zk集群和kafka集群
热门推荐
qq_25409421的博客
06-24 3万+
本文演示如何在 K8s下部署 Kafka 集群，并且搭建后除了可以从 K8s 内部访问 Kafka 服务，也支持从 K8s 集群外部访问 Kafka 服务。本次我们使用 StatefulSet 方式搭ZooKeeper 集群，使用 Service&Deployment 搭建 Kafka 集群。
KubeSphere部署Mysql有状态副本集
xiaomu_a的博客
10-04 2024
首先我们知道以前使用docker部署有状态应用时都会将应用的配置文件和数据挂载到宿主机，例如docker启动mysql命令： docker run -p 3306:3306 --name isee-mysql \ -v /db/mysql/log:/var/log/mysql \ -v /db/mysql/data:/var/lib/mysql \ -v /db/mysql/conf:/etc/mysql/conf.d \ -e MYSQL_ROOT_PASSWORD=root \ --restart=al
Kubernetes kafka系列 | k8s部署kafka+zookeepe集群
weixin_48711696的博客
03-13 1395
Kafka简介： Apache Kafka 是一个开源的分布式流处理平台和消息队列系统。它最初由LinkedIn开发，并于2011年成为Apache软件基金会的顶级项目。特点：高吞吐量： Kafka 能够处理大规模的消息流，并具有很高的吞吐量。持久性： 它将消息持久化到磁盘上，因此即使消费者不在线，也能保证消息不会丢失。可伸缩性： Kafka 可以很容易地水平扩展以处理大量数据。实时性： Kafka 可以提供几乎实时的消息传递，适用于大多数实时数据处理需求。
k8s部署kafka集群zk
qq_42869878的博客
03-24 651
环境要求，这里已经部署好k8s环境，部署k8s环境请查阅：https://blog.csdn.net/qq_42869878/article/details/109857229 部署zookeeper 1、编写kafka空间yaml文件 cat kafka-namespace.yaml apiVersion: v1 kind: Namespace metadata: name: kafka 2、编写zookeeper的yaml文件：zookeeper-headless.yaml apiVersion
k8s部署elk+filebeat+logstash+kafka集群（二）kafka-zookeeper模式集群
filtercomp的博客
09-30 618
k8s中kafkazookeeper集群模式部署
Kubernetes学习笔记-StatefulSet：部署有状态的多副本应用(2)20220625
wwxsoft的专栏
06-26 465
statefulset的创建和使用，扩缩容statefulset
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
Flink+Kafka搭建流式处理框架（内涵docker部署脚本和k8s多副本部署脚本）
11-03
flink搭配kafka，构建流式采集框架，提供了docker部署方式脚本和k8s多副本方式部署脚本
kafka + zookeeper 集群jar包
02-11
kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz
基于spark+kafka+zk整合的实时项目+文档说明
04-18
- 不懂运行，下载完可以私聊问...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
k8s部署有状态服务mysql_Kubernetes部署本地有状态mysql主从服务【转】
weixin_31101725的博客
02-26 144
一般情况下Kubernetes可以通过ReplicaSet以一个Pod模板创建多个pod副本，但是它们都是无状态的，任何时候它们都可以被一个全新的pod替换。然而有状态的pod需要另外的方案确保当一个有状态的pod挂掉后，这个pod实例需要在别的节点上重建，但是新的实例必须与被替换的实例拥有相同的名称、网络标识和状态。这就是Statefulset管理pod的手段。对于容器集群，有状态服务的挑战在于...
k8s学习笔记---Statefulset：部署有状态的多副本应用
yaohong
08-06 2237
10.1.什么是Statefulset 　　StatefulSet是Kubernetes提供的管理有状态应用的负载管理控制器API。 特点： 　　1.具有固定的网络标记（主机名） 　　2.具有持久化存储 　　3.需要按顺序部署和扩展 　　4.需要按顺序终止和删除 　　5.需要按顺序滚动和更新 10.2.statefulset的创建 　　statefulset的创建顺...
k8s平台实现 nginx 的副本集模式部署
ChaITSimpleLove的博客
11-16 865
学习k8s第一步，先动手实践“跑起来”！实现目标，k8s平台部署nginx，实现2副本访问。 1.k8s环境查看 前面的环节已经准备好k8s集群环境，1台k8s-master01，2台k8s-node(分别是k8s-node01 & k8s-node02)， 查看信息如下=》# kubectl get node 查看k8s版本信息=》#kubectl version 分别显示【Client Version】和【Server Version】版本信息，此处k8s集群环境显示的是...
Kubernetes学习笔记-StatefulSet：部署有状态的多副本应用(3)20220626
wwxsoft的专栏
06-26 354
更新statefulset、删除statefulset srv是什么
k8s部署kafka+zookeeper
本作者：想花
01-21 1369
决定在一个pod中部署这两个容器先拉取images。
K8S哲学 - 资源调度 DaemonSet
gu2022_3_5_21_23的博客
05-03 547
默认是滚动更新，结果是，一旦修改 yaml文件 template 里面的 内容，那么所有节点的 ds 都会更新，所以 修改为 OnDelete 模式、当 某一个 节点的 ds需要更新，就删除 改 ds ，会自动按照新的 yaml文件创建一个 ds。正常情况下，每个服务都会进行 各自的日志收集、但是因为他们不在 同一台 Node 上，导致一旦查日志就需要 调动各个 机器进行切换，不方便也不高效。所以只要 节点在 改集群内，只要 在需要的节点加上 nodeSelector 就会在该节点创建 ds。
K8S中的弹性云服务如何搭建，可能遇到的问题，如何解决！（稳啦！！！！全都稳啦！！！）
最新发布
Aprilqxs的博客
05-08 341
同时，弹性云服务还降低了企业的IT成本，因为用户只需根据实际使用的计算资源支付费用，无需承担额外的硬件成本和维护费用。弹性云服务（ECS）是一种基于云计算技术的虚拟服务器，由vCPU、内存、磁盘等组成的获取方便、弹性可扩展、按需使用的虚拟计算服务器。当CPU使用率下降时，会自动减少Pod的副本数，但不会少于1个。的Service对象，使用ClusterIP类型，将外部访问的80端口映射到Pod的8080端口。使用kubectl命令创建一个Deployment对象，定义要部署的应用程序的配置。
K8S面试题学习2
wyx的博客
05-06 698
参考做的个人总结，规划是每天看10题，thx！
在k8s上部署 zookeeper + kafka 集群 配置教程
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值