Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排

于 2024-06-27 09:36:40 发布
阅读量416 收藏 8
点赞数 5
分类专栏： Flink 文章标签： 云原生 flink java 大数据 后端 kubernetes rancher
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w776341482/article/details/140003954
版权

代码仓库

会同步代码到 GitHub
https://github.com/turbo-duck/flink-demo

在这里插入图片描述

背景介绍

单机模式

在之前的章节中，已经验证过，但是实际运行的时候，我们是需要提交到服务器去运行的。

集群模式

在之前章节中，已经验证过，(方便测试) 使用了 Docker 的方式进行部署。同时也利用容器编排工具docker-compose的方式，进行集群的模式部署：

  • 简单测试 1 x JobManager + 1 x TaskManager
  • 集群模式 1 x JobManager + 3 x TaskManager
  • HA模式 2 x JobManager + Zookeeper + 3 x TaskManager

但是对于上述的 docker-compose 编排的方式，我们依然是在一台机器上的。对于实际的生产情况，我们可能需要面对多台机器进行部署，同时最好的方案是：动态扩容、动态缩容，最大程度的利用资源。

云原生部署

  • 首先确保你有 Kubernetes
  • 然后为了简化 这里借助 Rancher 可视化进行操作
  • 等熟悉了，你可以使用 yaml尝试部署。
  • 最后，生产环境可借助 Helm + Flink Operator 极大简化过程。

请添加图片描述

Yaml

JobManager

需要开放的端口如下：
请添加图片描述

完整的Yaml 如下:

apiVersion: apps/v1
kind: StatefulSet
metadata:
  annotations:
    field.cattle.io/creatorId: u-s4mkr
    field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"port":31120,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30985,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30166,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true}]'
  creationTimestamp: "2023-06-08T08:49:14Z"
  generation: 21
  labels:
    cattle.io/creator: norman
    workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
  managedFields:
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:metadata:
        f:annotations:
          .: {}
          f:field.cattle.io/creatorId: {}
          f:field.cattle.io/publicEndpoints: {}
        f:labels:
          .: {}
          f:cattle.io/creator: {}
          f:workload.user.cattle.io/workloadselector: {}
      f:spec:
        f:podManagementPolicy: {}
        f:replicas: {}
        f:revisionHistoryLimit: {}
        f:selector: {}
        f:serviceName: {}
        f:template:
          f:metadata:
            f:annotations:
              .: {}
              f:cattle.io/timestamp: {}
              f:field.cattle.io/ports: {}
            f:labels:
              .: {}
              f:workload.user.cattle.io/workloadselector: {}
          f:spec:
            f:containers:
              k:{"name":"jobmanager"}:
                .: {}
                f:args: {}
                f:env:
                  .: {}
                  k:{"name":"JOB_MANAGER_RPC_ADDRESS"}:
                    .: {}
                    f:name: {}
                    f:value: {}
                f:image: {}
                f:imagePullPolicy: {}
                f:name: {}
                f:ports:
                  .: {}
                  k:{"containerPort":6123,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":6124,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":8081,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                f:resources: {}
                f:securityContext:
                  .: {}
                  f:allowPrivilegeEscalation: {}
                  f:capabilities: {}
                  f:privileged: {}
                  f:readOnlyRootFilesystem: {}
                  f:runAsNonRoot: {}
                f:stdin: {}
                f:terminationMessagePath: {}
                f:terminationMessagePolicy: {}
                f:tty: {}
            f:dnsConfig: {}
            f:dnsPolicy: {}
            f:restartPolicy: {}
            f:schedulerName: {}
            f:securityContext: {}
            f:terminationGracePeriodSeconds: {}
        f:updateStrategy:
          f:type: {}
    manager: rancher
    operation: Update
    time: "2023-06-08T11:20:03Z"
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:status:
        f:collisionCount: {}
        f:currentReplicas: {}
        f:currentRevision: {}
        f:observedGeneration: {}
        f:readyReplicas: {}
        f:replicas: {}
        f:updateRevision: {}
        f:updatedReplicas: {}
    manager: kube-controller-manager
    operation: Update
    time: "2024-06-27T01:24:45Z"
  name: jobmanager
  namespace: flink-server
  resourceVersion: "126393476"
  uid: 461079aa-69f6-423e-85b7-36fdc5c513e7
spec:
  podManagementPolicy: OrderedReady
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
  serviceName: jobmanager
  template:
    metadata:
      annotations:
        cattle.io/timestamp: "2023-06-08T11:18:06Z"
        field.cattle.io/ports: '[[{"containerPort":8081,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm81","protocol":"TCP","sourcePort":31120},{"containerPort":6123,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm23","protocol":"TCP"},{"containerPort":6124,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm24","protocol":"TCP"}]]'
      creationTimestamp: null
      labels:
        workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
    spec:
      containers:
      - args:
        - jobmanager
        env:
        - name: JOB_MANAGER_RPC_ADDRESS
          value: jobmanager
        image: 10.10.52.8/flink/flink
        imagePullPolicy: Always
        name: jobmanager
        ports:
        - containerPort: 8081
          name: jm81
          protocol: TCP
        - containerPort: 6123
          name: jm23
          protocol: TCP
        - containerPort: 6124
          name: jm24
          protocol: TCP
        resources: {}
        securityContext:
          allowPrivilegeEscalation: false
          capabilities: {}
          privileged: false
          readOnlyRootFilesystem: false
          runAsNonRoot: false
        stdin: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        tty: true
      dnsConfig: {}
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
  updateStrategy:
    type: RollingUpdate
status:
  collisionCount: 0
  currentReplicas: 1
  currentRevision: jobmanager-6ddbf8767b
  observedGeneration: 21
  readyReplicas: 1
  replicas: 1
  updateRevision: jobmanager-6ddbf8767b
  updatedReplicas: 1

TaskManager

需要开放的端口如下：
请添加图片描述

完整Yaml 如下：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  annotations:
    field.cattle.io/creatorId: u-s4mkr
    field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"port":31538,"protocol":"TCP","serviceName":"flink-server:taskmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30067,"protocol":"TCP","serviceName":"flink-server:taskmanager-nodeport","allNodes":true}]'
  creationTimestamp: "2023-06-08T08:49:30Z"
  generation: 10
  labels:
    cattle.io/creator: norman
    workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
  managedFields:
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:metadata:
        f:annotations:
          .: {}
          f:field.cattle.io/creatorId: {}
          f:field.cattle.io/publicEndpoints: {}
        f:labels:
          .: {}
          f:cattle.io/creator: {}
          f:workload.user.cattle.io/workloadselector: {}
      f:spec:
        f:podManagementPolicy: {}
        f:replicas: {}
        f:revisionHistoryLimit: {}
        f:selector: {}
        f:serviceName: {}
        f:template:
          f:metadata:
            f:annotations:
              .: {}
              f:cattle.io/timestamp: {}
              f:field.cattle.io/ports: {}
              f:field.cattle.io/publicEndpoints: {}
            f:labels:
              .: {}
              f:workload.user.cattle.io/workloadselector: {}
          f:spec:
            f:containers:
              k:{"name":"taskmanager"}:
                .: {}
                f:args: {}
                f:env:
                  .: {}
                  k:{"name":"JOB_MANAGER_RPC_ADDRESS"}:
                    .: {}
                    f:name: {}
                    f:value: {}
                f:image: {}
                f:imagePullPolicy: {}
                f:name: {}
                f:ports:
                  .: {}
                  k:{"containerPort":6121,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":6122,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                f:resources: {}
                f:securityContext:
                  .: {}
                  f:allowPrivilegeEscalation: {}
                  f:privileged: {}
                  f:readOnlyRootFilesystem: {}
                  f:runAsNonRoot: {}
                f:stdin: {}
                f:terminationMessagePath: {}
                f:terminationMessagePolicy: {}
                f:tty: {}
            f:dnsPolicy: {}
            f:restartPolicy: {}
            f:schedulerName: {}
            f:securityContext: {}
            f:terminationGracePeriodSeconds: {}
        f:updateStrategy:
          f:type: {}
    manager: rancher
    operation: Update
    time: "2023-06-08T11:20:40Z"
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:status:
        f:collisionCount: {}
        f:currentReplicas: {}
        f:currentRevision: {}
        f:observedGeneration: {}
        f:readyReplicas: {}
        f:replicas: {}
        f:updateRevision: {}
        f:updatedReplicas: {}
    manager: kube-controller-manager
    operation: Update
    time: "2024-06-27T01:24:58Z"
  name: taskmanager
  namespace: flink-server
  resourceVersion: "126393537"
  uid: 9ddfa3b3-b497-43af-9bb6-af83ffa0aed3
spec:
  podManagementPolicy: OrderedReady
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
  serviceName: taskmanager
  template:
    metadata:
      annotations:
        cattle.io/timestamp: "2023-06-08T11:19:53Z"
        field.cattle.io/ports: '[[{"containerPort":6121,"dnsName":"taskmanager-nodeport","kind":"NodePort","name":"tm21","protocol":"TCP"},{"containerPort":6122,"dnsName":"taskmanager-nodeport","kind":"NodePort","name":"tm22","protocol":"TCP"}]]'
        field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"allNodes":true,"port":31538,"protocol":"TCP","serviceId":"flink-server:taskmanager-nodeport"},{"addresses":["10.10.52.11"],"allNodes":true,"port":30067,"protocol":"TCP","serviceId":"flink-server:taskmanager-nodeport"}]'
      creationTimestamp: null
      labels:
        workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
    spec:
      containers:
      - args:
        - taskmanager
        env:
        - name: JOB_MANAGER_RPC_ADDRESS
          value: jobmanager
        image: 10.10.52.8/flink/flink
        imagePullPolicy: Always
        name: taskmanager
        ports:
        - containerPort: 6121
          name: tm21
          protocol: TCP
        - containerPort: 6122
          name: tm22
          protocol: TCP
        resources: {}
        securityContext:
          allowPrivilegeEscalation: false
          privileged: false
          readOnlyRootFilesystem: false
          runAsNonRoot: false
        stdin: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        tty: true
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
  updateStrategy:
    type: RollingUpdate
status:
  collisionCount: 0
  currentReplicas: 1
  currentRevision: taskmanager-6fd48fdb8d
  observedGeneration: 10
  readyReplicas: 1
  replicas: 1
  updateRevision: taskmanager-6fd48fdb8d
  updatedReplicas: 1

测试效果

控制台

（根据自己的情况）

http://10.10.52.11:31120/#/overview

扩容TaskManager

当我们对 TaskManager 进行扩容的时候，这里我扩展了 5个，正在逐步扩容，完毕之后 ，我们可以对应观察到控制台中的：
请添加图片描述

请添加图片描述

HA模式

同样的操作，你需要在 K8s 集群中用如下的方案来做高可用方案:

  • 3 x JobManager
  • N x TaskManager
  • Zookeeper
武子康
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rancher部署Flink集群
07-23 824
Rancher 部署flink集群
【HBZ分享】Rancher通过yaml部署Flink-UI 与 Flink应用部署
a645293829的博客
05-04 2048
Flink部署UI界面 及 相关配置 建议：Flink应用尽量单独部署到一台服务器，因为很占用内存 注意：8081端口记得放行，Flink-UI需要用到8081端口访问 第一步：部署flink-jobmanager-deployment.yaml 注意：部署顺序一定要： flink-jobmanager-deployment.yaml flink-jobmanager-service.yaml taskmanager-deployment.yaml 其中flink-jobmanager-service.y
Rancher搭建flink集群
langyaxiaoxiao的专栏
01-08 69
Service的IP service ip不能ping通 但可以通过service ip访问后面的服务 You can run a JobManager (master) You can also run a TaskManager (worker) taskmanager默认会向自身的6123端...
rancher下管理flink
weixin_45316851的博客
12-02 2375
rancher管理flink
记一次rancher导入yaml生成k8s异常
Mr1ght的博客
06-24 1256
公司使用rancher来部署k8s集群，最近因为有一个新的项目开发完成需要搭建环境，因此我编写了k8s的yaml来导入到rancher中，生成一个测试环境，一个演示环境，测试环境用于测试，演示环境用于给客户演示。导入之后namespace等成功生成，测试环境没有问题，但是demo环境出现了问题。 demo环境的yaml如下: --- apiVersion: apps/v1 #接口版本 kind: Deployment #接口类型 metadata: name: xxxx-demo #Deployme
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
适用于Apache Flink的Kubernetes运算符 这不是官方支持的Google产品。 用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态...
flink-table-api-java-bridge_2.11-1.12.7-API文档-中文版.zip
07-12
赠送jar包：flink-table-api-java-bridge_2.11-1.12.7.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.12.7-sources.jar； 赠送...
flink-streaming-java_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-streaming-java_2.11-1.13.2.jar； 赠送原API文档：flink-streaming-java_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-streaming-java_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-...
flink-table-api-java-bridge_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-table-api-java-bridge_2.11-1.13.2.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.13.2-sources.jar； 赠送...
flink-table-api-java-bridge_2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-table-api-java-bridge_2.12-1.14.3.jar； 赠送原API文档：flink-table-api-java-bridge_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.12-1.14.3-sources.jar； 赠送...
flink-k8s部署.zip
10-12
flink on k8s部署yaml
python测试框架让case并发执行_《Flink官方文档》Python 编程指南测试版
weixin_39527768的博客
02-21 274
原文链接 译者：hjjxd 校对：清英Flink中的分析程序实现了对数据集的某些操作 (例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，...
Flink 部署安装
程序员学习圈
07-08 440
前言 Flink三种运行方式：Local、Standalone、Yarn(相当于yarn-cluster)。Local模式很简单，再这里不在介绍，下面着中介绍一下Standalon和On Yarn模式。 1.standalone模式 1.1 安装 • 将本地文件上传到Linux服务器： luomingkuideMacBook-Pro:Downloads luomingk...
k8s flink搭建
qq_36567420的博客
09-06 609
设置hadoop配置#minio的秘钥，也可以使用iam身份令牌，官方更推荐令牌# 这些架包需要提前下载，下载方式可以百度#s3a建议flink-s3-fs-hadoop，s3p建议flink-s3-fs-presto 区别百度<property><property><value></value><property><property><property><property><property><property>
快速基于k8s部署flink
sinat_42406646的博客
02-01 644
快速部署flink到k8s
【Flink系列】部署篇（三）：Native k8s部署高可用Flink集群实战
m0_37935211的博客
01-12 2606
上一篇博文介绍了如何独立部署一个高可用的Flink集群,本篇介绍如何用Native k8s去部署高可用的Flink 集群。本篇介绍的集群构建在AWS上，和构建在自己的服务器相比，主要区别在文件系统的选择和使用上。我选用的S3服务。
【k8s】Rancher+graylog 傻瓜式安装部署
qq_31286957的博客
09-19 256
1、rancher-工作负载-Deployments-创建，添加名称镜像，设置端口，添加环境变量（也可以通过ConfigMaps方式添加）1)rancher-工作负载-Statefulset-创建，设置名称选择es-headless，设置镜像，端口。1）Rancher-服务发现-services-创建,选择命名空间，输入名称，配置端口。5、等待es安装完毕，工作负载-Statefulset 会出现如下应用。1）rancher-存储-ConfigMaps-创建。2、创建es-headless。
flink on k8s部署
最新发布
weixin_51981189的博客
04-19 1041
创建 JobManager 和 TaskManager 的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值