【Flink】flink on k8s 部署方案

已于 2022-04-04 00:08:22 修改
阅读量8.7k 收藏 28
点赞数 7
分类专栏： 云原生 文章标签： flink
于 2022-03-23 13:54:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013202518/article/details/123684346
版权

1. HDFS部署 (k8s)

hdfs的作用是用户保存flink的检查点与保持点
但是大数据集群目前还是建议单独使用CDH或者HDP部署
目前文中的这种hdfs on k8s方式做高可用不太方便

1.1 配置文件

hdfs-conf.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: dev-flink-plat
  name: kube-hadoop-conf
data:
  HDFS_MASTER_SERVICE: hadoop-hdfs-master
  HDOOP_YARN_MASTER: hadoop-yarn-master

hdfs-service.yaml

apiVersion: v1
kind: Service
metadata:
  namespace: dev-flink-plat
  name: hadoop-hdfs-master
spec:
  type: NodePort
  selector:
    app: hdfs-master
  ports:
    - name: rpc
      port: 9000
      targetPort: 9000
    - name: http
      port: 50070
      targetPort: 50070
      nodePort: 32007

hdfs-namenode.yaml

没有配置secondary-namenode，而是通过ReplicationController的replicas来保证namenode的副本数

apiVersion: v1
kind: ReplicationController
metadata:
  namespace: dev-flink-plat
  name: hdfs-master
  labels:
    app: hdfs-master
spec:
  replicas: 1
  selector:
    name: hdfs-master
  template:
    metadata:
      labels:
        name: hdfs-master
    spec:
      containers:
        - name: hdfs-master
          image: kubeguide/hadoop:latest
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 9000
            - containerPort: 50070
          env:
            - name: HADOOP_NODE_TYPE
              value: namenode
            - name: HDFS_MASTER_SERVICE
              valueFrom:
                configMapKeyRef:
                  name: kube-hadoop-conf
                  key: HDFS_MASTER_SERVICE
            - name: HDOOP_YARN_MASTER
              valueFrom:
                configMapKeyRef:
                  name: kube-hadoop-conf
                  key: HDOOP_YARN_MASTER
      restartPolicy: Always

hdfs-datanode.yaml

apiVersion: v1
kind: Pod
metadata:
    namespace: dev-flink-plat
    name: hadoop-datanode
    labels:
      app: hadoop-datanode
spec:
  containers:
    - name: hadoop-datanode
      image: kubeguide/hadoop:latest
      imagePullPolicy: IfNotPresent
      ports:
        - containerPort: 9000
        - containerPort: 50070    
      env:
        - name: HADOOP_NODE_TYPE
          value: datanode
        - name: HDFS_MASTER_SERVICE
          valueFrom:
            configMapKeyRef:
              name: kube-hadoop-conf
              key: HDFS_MASTER_SERVICE
        - name: HDOOP_YARN_MASTER
          valueFrom:
            configMapKeyRef:
              name: kube-hadoop-conf
              key: HDOOP_YARN_MASTER        
  restartPolicy: Always

2. Flink部署 (k8s)

2.1 Flink部署方式

  1. flink standalone
  2. flink on yarn
  3. flink on k8s

我们采用的是flink on k8s的部署方式

2.2 flink on k8s 部署方案

Flink 选择 Kubernetes 的主要原因是结合 Flink 和 Kubernetes 的长稳性。
① Flink 特性：提供的实时服务是需要长时间、稳定地运行，常应用于电信网络质量监控、实时风控、实时推荐等稳定性要求较高的场景；
② Kubernetes 优势：为应用提供了部署、管理能力，同时保证其稳定运行。Kubernetes 具有很好的生态，可以集成各种运维工具，例如 prometheus、主流日志采集工具等。Kubernetes 具有很好的扩缩容机制，可以大大提高资源利用率。

Session 模式

预先构建 Flink 集群，且该集群长期处于运行状态，但不能自动扩缩容。用户通过 client 提交作业到运行中的 JobManager，而 JobManager 将任务分配到运行中的 TaskManager

优点缺点
Flink 集群是预先启动运行的。用户提交作业的时候，作业可以立即分配到 TaskManager，即作业启动速度快资源利用率低，提前确定 TaskManager 数量，如果作业需要的资源少，则大量 TaskManager 处于闲置状态。反正 TaskManager 资源不足
作业隔离性差，多个作业的任务存在资源竞争，相互影响。如果一个作业异常导致 TaskManager 挂了，该 TaskManager 上的全部作业都会被重启

Application 模式

每个作业独占一个 Flink 集群，当作业完成后，集群也会被回收。

注意：
① Flink 镜像需要包含作业即Application 依赖的 Class
② 启动作业的时候需要指定 Main 函数入口类

优点缺点
一个作业独占一个集群，作业的隔离性好资源利用率低，提前确定 TaskManager 数量，如果作业需要的资源少，则大量 TaskManager 处于闲置状态。反之 TaskManager 资源不足。同时，JobManager 不能复用

Flink Native Session 模式

类似 Session 模式，需要预先构建 JobManager。不同点是用户通过 Flink Client 向 JobManager 提交作业后，根据作业需要的 Slot 数量，JobManager 直接向 Kubernetes 申请 TaskManager 资源，最后把作业提交到 TaskManager 上。

优点缺点
TaskManager 的资源是实时的、按需进行的创建，对资源的利用率更高作业真正运行起来的时间较长，因为需要等待 TaskManager 创建

Flink Native Application 模式

类似 Application 模式，每个作业独占一个 Flink 集群，当作业完成后，集群也会被回收。不同点是 Native 特性，即 Flink 直接与 Kubernetes 进行通信并按需申请资源，无需用户指定 TaskManager 资源的数量。

优点缺点
一个作业独占一个集群，作业的隔离性好一个作业独占一个集群，JobManager 不能复用
资源利用率相对较高，按需申请 JobManager 和 TaskManager作业启动较慢，在作业提交后，才开始创建 JobManager 和 TaskManager

运行模式总结

模式隔离性作业启动时间资源利用率资源按需创建
Session弱，作业共享集群较短，立即启动较低，集群长期存在否
Application强，作业独享集群最长，等待集群创建完成一般，作业结束后释放资源否
Native Session弱，作业共享集群一般，等待 TaskManager 创建较低，TaskManager 按需申请是
Native Application强，作业独占集群一般， 等待集群创建完成最好，集群按需创建是

Kubernetes 高可用 Services

Session 模式和 Application 模式集群都支持使用 Kubernetes 高可用服务。需要在 flink-configuration-configmap.yaml 中添加如下 Flink 配置项。

Note 配置了 HA 存储目录相对应的文件系统必须在运行时可用。请参阅自定义Flink 镜像和启用文件系统插件获取更多相关信息。

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  labels:
    app: flink
data:
  flink-conf.yaml: |+
  ...
    kubernetes.cluster-id: <cluster-id>
    high-availability: org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory
    high-availability.storageDir: hdfs:///flink/recovery
    restart-strategy: fixed-delay
    restart-strategy.fixed-delay.attempts: 10
  ...

此外，你必须使用具有创建、编辑、删除 ConfigMap 权限的 service 账号启动 JobManager 和 TaskManager pod。请查看如何为 pod 配置 service 账号获取更多信息。

当启用了高可用，Flink 会使用自己的 HA 服务进行服务发现。因此，JobManager Pod 会使用 IP 地址而不是 Kubernetes 的 service 名称来作为 jobmanager.rpc.address 的配置项启动。

2.3 配置文件

flink-conf.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  namespace: fat-bigdata-cluster
  labels:
    app: flink
data:
  flink-conf.yaml: |+
    jobmanager.rpc.address: flink-jobmanager
    taskmanager.numberOfTaskSlots: 50
    blob.server.port: 6124
    jobmanager.rpc.port: 6123
    taskmanager.rpc.port: 6122
    jobmanager.heap.size: 1524m
    taskmanager.memory.process.size: 4096m
    execution.target: kubernetes-session

    state.backend: filesystem
    state.checkpoints.dir: hdfs://192.168.5.131:25305/flink/cp
    state.savepoints.dir: hdfs://192.168.5.131:25305/flink/sp
    state.backend.incremental: true

    kubernetes.cluster-id: fat-bigdata-cluster-k8s-id
    classloader.resolve-order: parent-first
    high-availability: org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory
    high-availability.storageDir: hdfs://192.168.5.131:25305/flink/recovery
    #restart-strategy: fixed-delay
    #restart-strategy.fixed-delay.attempts: 10
    #high-availability.jobmanager.port: 34560
    #metrics.internal.query-service.port: 34561

    kubernetes.namespace: fat-bigdata-cluster
    kubernetes.service-account: flink-bigdata-cluster


  log4j.properties: |+
    log4j.rootLogger=INFO, file
    log4j.logger.akka=INFO
    log4j.logger.org.apache.kafka=INFO
    log4j.logger.org.apache.hadoop=INFO
    log4j.logger.org.apache.zookeeper=INFO
    log4j.appender.file=org.apache.log4j.FileAppender
    log4j.appender.file.file=${log.file}
    log4j.appender.file.layout=org.apache.log4j.PatternLayout
    log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file

jobmanager-service.yaml

apiVersion: v1
kind: Service
metadata:
  namespace: fat-bigdata-cluster
  name: flink-jobmanager
spec:
  type: ClusterIP
  ports:
  - name: rpc
    port: 6123
  - name: blob
    port: 6124
  - name: ui
    port: 8081
  selector:
    app: flink
    component: jobmanager

jobmanager-rest-service.yaml

apiVersion: v1
kind: Service
metadata:
  namespace: dev-flink-plat
  name: flink-jobmanager-rest
spec:
  type: NodePort
  ports:
  - name: rest
    port: 8081
    targetPort: 8081
    nodePort: 30081
  selector:
    app: flink
    component: jobmanager

jobmanager-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: fat-bigdata-cluster
  name: flink-jobmanager
spec:
  replicas: 1
  selector:
    matchLabels:
      app: flink
      component: jobmanager
  template:
    metadata:
      labels:
        app: flink
        component: jobmanager
    spec:
      containers:
      - name: jobmanager
        image: flink:1.13.2
        env:
          - name: FLINK_PROPERTIES
            value: 'jobmanager.rpc.address: flink-jobmanager'
        workingDir: /opt/flink
        command: ["/bin/bash", "-c", "$FLINK_HOME/bin/jobmanager.sh start;\
          while :;
          do
            if [[ -f $(find log -name '*jobmanager*.log' -print -quit) ]];
              then tail -f -n +1 log/*jobmanager*.log;
            fi;
          done"]
        ports:
        - containerPort: 6123
          name: rpc
        - containerPort: 6124
          name: blob
        - containerPort: 8081
          name: ui
        livenessProbe:
          tcpSocket:
            port: 6123
          initialDelaySeconds: 30
          periodSeconds: 60
        volumeMounts:
#        - name: flink-config-volume
#          mountPath: /opt/flink/conf/
        - name: flink-lib-volume
          mountPath: /opt/flink/lib/
        securityContext:
          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary
      volumes:
#      - name: flink-config-volume
#        configMap:
#          name: flink-config
#          items:
#          - key: flink-conf.yaml
#            path: flink-conf.yaml
#          - key: log4j.properties
#            path: log4j.properties
      - name: flink-lib-volume
        hostPath:
          path: /home/sll/lib/
          type: Directory
taskmanager-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: fat-bigdata-cluster
  name: flink-taskmanager
spec:
  replicas: 1
  selector:
    matchLabels:
      app: flink
      component: taskmanager
  template:
    metadata:
      labels:
        app: flink
        component: taskmanager
    spec:
      containers:
      - name: taskmanager
        image: flink:1.13.2
        workingDir: /opt/flink
        command: ["/bin/bash", "-c", "$FLINK_HOME/bin/taskmanager.sh start; \
          while :;
          do
            if [[ -f $(find log -name '*taskmanager*.log' -print -quit) ]];
              then tail -f -n +1 log/*taskmanager*.log;
            fi;
          done"]
        ports:
        - containerPort: 6122
          name: rpc
        livenessProbe:
          tcpSocket:
            port: 6122
          initialDelaySeconds: 30
          periodSeconds: 60
        volumeMounts:
        - name: flink-config-volume
          mountPath: /opt/flink/conf/
        - name: flink-lib-volume
          mountPath: /opt/flink/lib/
        securityContext:
          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary
      volumes:
      - name: flink-config-volume
        configMap:
          name: flink-config
          items:
          - key: flink-conf.yaml
            path: flink-conf.yaml
          - key: log4j.properties
            path: log4j.properties
      - name: flink-lib-volume
        hostPath:
          path: /home/sll/lib
          type: Directory
serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fat-bigdata-cluster
  namespace: fat-bigdata-cluster
automountServiceAccountToken: false

configmaps-cluster-role.yaml

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
   namespace: fat-bigdata-cluster
   name: configmaps-reader
rules:
 - apiGroups: [""]
   resources: ["configmaps"]
   verbs: ["update","create","get", "watch", "list"]

绑定clusterRole与serviceaccount

k create clusterrolebinding flink-reader-binding --clusterrole=configmaps-reader --serviceaccount=fat-bigdata-cluster:default
我的浪漫与极端
关注
  • 7
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
flink实战--flink on k8s (Kubernetes)
阿华田的博客
10-19 4373
Flink on Kubernetes 的发展历史 在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群，很大的程度上...
Flink+Kafka搭建流式处理框架（内涵docker部署脚本和k8s多副本部署脚本）
11-03
flink搭配kafka，构建流式采集框架，提供了docker部署方式脚本和k8s多副本方式部署脚本
flink on k8s
小王是个弟弟
08-04 4394
基于 kubeshpere 的 flink on k8s 实践
【K8S】【flink on k8s】 之flinkcdc
qq_31286957的博客
03-14 342
1）新建一个nodeport类型的service ，选择器和application-deployment-rest 保持一致，映射8081端口。1)k8s上能执行kubectl 命令的节点上创建自定义工作负载配置任务文件 flink-cdc-demo.yaml。2） 访问flink-web-ui service 对应的端口即可出现flink-web-ui界面。1、在k8s 上部署 flink-kubernetes-operator。1、在k8s 上部署 flink-kubernetes-operator。
Flink On K8S终极实现方案
微信搜：import_bigdata，大数据领域硬核原创作者
12-15 1297
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！Flink作为新一代的大数据处理...
Flink on k8s 环境搭建(一)
wangqiaowq的博客
07-19 1635
Flink on Yarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeper Hadoop Yarn 等相关组件，安装流程比较复杂，集群出现问题重新安装的流程也比较复杂，且Yarn的3个节点中 只能起了 3个resourceManager和1个NodeManager，Flink 作业申请资源时只能 向NodeManager的节点申请资源，整体有资源瓶颈的隐患（后继flink作业会越来越多），现在尝试进行Flink on k8s 的环境搭建。
python测试框架让case并发执行_《Flink官方文档》Python 编程指南测试版
weixin_39527768的博客
02-21 253
原文链接 译者：hjjxd 校对：清英Flink中的分析程序实现了对数据集的某些操作 (例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，...
Kubernetes搭建Flink会话集群
qq_24027439的博客
09-02 1237
Kubernetes搭建Flink会话集群 一、准备工作 linux 系统环境 ：linux系统采用的是Centos 8 、安装linux软件包管理工具yum 安装docker-ce yum install -y docker-ce 启动docker服务 systemctl start docker 查看docker运行状态 systemctl status docker 显示状态 [root@INMS-T ~]# systemctl status docker * docker.serv
基于K8S搭建Flink集群，轻松上手玩集群
wqs229342的博客
03-31 7798
K8S搭建及Flink集群部署
k8s flink搭建
qq_36567420的博客
09-06 345
设置hadoop配置#minio的秘钥，也可以使用iam身份令牌，官方更推荐令牌# 这些架包需要提前下载，下载方式可以百度#s3a建议flink-s3-fs-hadoop，s3p建议flink-s3-fs-presto 区别百度<property><property><value></value><property><property><property><property><property><property>
快速基于k8s部署flink
sinat_42406646的博客
02-01 565
快速部署flink到k8s
flink-k8s部署.zip
10-12
flink on k8s部署yaml
Flink On K8s实战课程2023
11-13
给大家分享一套——Flink On K8s实战课程2023。
Flink on Yarn_K8S原理剖析及实践.pdf
07-17
Flink 2018峰会 阿里大牛的技术， 在线教程有github：**，第7个文档 详细的讲解Flink和YARN及kubenete的集成，值得收藏
Flink On K8s实战
09-01
kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes...
Flink命令行启动Job任务
平凡的运维之路的博客
04-11 256
Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。
记录kafka-flink-kafka的end-to-end的exactly-once语义
小小码农
04-11 315
记录kafka-flink-kafka的end-to-end的exactly-once语义步骤代码 步骤 开启checkpoint、stateBackend的设置和checkpoint配置 设置kafka source的配置 读取kafka source message 随意的transformation；并打印结果 kafka sink端的配置 输出到kafka sink端 执行 代码 package com.javaye.demo.exactly; import org.apache.common
Understanding Flink
余璜的技术博客
04-11 833
方案一与方案二的相同点是组件维护复杂，Flink 1.11中CDC Connectors内置了 Debezium 引擎，可以替换 Debeziuum+Kafka.这里就是各种分组聚合的语法，包括一般聚合函数，DISTINCT，GROUP BY、GROUPING SET、CUBE、ROLLUP、HAVING 等。Flink 有 cdc 的 connector，有 jdbc 的 connector。总结：Flink 的市场定位就是干掉所有传输通道上的人。，字符串的，算术运算的，比较的等等。
大数据：【学习笔记系列】Flink基础架构
最新发布
惊鸿若梦一书生
04-17 336
Flink 的基础架构设计使其能够高效处理大规模数据流，支持复杂的数据处理任务和流式计算，同时提供高度的可扩展性和可靠性。通过其强大的容错机制，Flink 能够保证在发生故障时数据不丢失，处理不中断。这些特点使得 Flink 成为处理实时数据流的理想选择。
flink on k8s部署
04-25
好的，您想了解有关在Kubernetes上部署Flink的内容。可以先下载Flink的二进制压缩包，并在Kubernetes上创建一个Flink的Deployment，在Deployment中进行容器化部署，并提供外部访问服务。还可以考虑使用Kubernetes Operator来简化Flink集群的管理和部署。您可以找到更多详细步骤和文档来了解如何在Kubernetes上部署Flink。希望对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我的浪漫与极端

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值