Flink k8s启动方式

最新推荐文章于 2023-02-01 17:57:28 发布
最新推荐文章于 2023-02-01 17:57:28 发布
阅读量1.5k 收藏 8
点赞数 2
分类专栏： flink 文章标签： 大数据 flink k8s docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011618288/article/details/118916811
版权

Flink k8s启动方式

通过docker启动

镜像准备

  1. 下载docker镜像
docker pull flink:1.11
  1. 修改镜像tag 为1.11.2-scala_2.11
docker tag flink:1.11 flink:1.11.2-scala_2.11

Session Cluster启动模式

Flink会话集群可用于运行多个作业。每个flink作业公用JobManager和TaskManger

1. 设置docker容器建的通信连接

docker network create flink-network

2. 启动JobManager

docker run \
    --rm \
    --name=jobmanager \
    --network flink-network \
    -p 8081:8081 \
    --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
    flink:1.11.2-scala_2.11 jobmanager

3. 启动TaskManager

docker run \
    --rm \
    --name=taskmanager \
    --network flink-network \
    --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
    flink:1.11.2-scala_2.11 taskmanager

4.启动任务

本地环境，可通过访问flink管理后台，将作业运行主类，打成jar上传，并执行任务
地址：http://localhost:8081/

Job Cluster启动模式

Flink作业集群是运行单个作业的专用集群。每个filnk作业的JobManager和TaskManger隔离

1. 设置docker容器建的通信连接

docker network create flink-network

2. 启动JobManager

需要将Flink 需要执行任务的jar和所有依赖的lib，挂载到容器的/opt/flink/usrlib，这样在Flink 的JobManager在启动时，会根据指定的–job-classname，到target目录，加载Main类和运行环境。
本例中，将包含任务jar（flink.demo.word.WordCountMain）的目录：/tmp/flink/usrlib/artifacts1，挂载到容器的/opt/flink/usrlib/artifacts1目录

docker run \
      --mount type=bind,src=/tmp/flink/usrlib/artifacts1,target=/opt/flink/usrlib/artifacts1 \
      --mount type=bind,src=/tmp/flink/usrlib/artifacts2,target=/opt/flink/usrlib/artifacts2 \
      --rm \
      --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
      --name=jobmanager \
      --network flink-network \
      flink:1.11.2-scala_2.11 standalone-job \
      --job-classname flink.demo.word.WordCountMain \
      [--job-id <job id>] \
      [--fromSavepoint /path/to/savepoint [--allowNonRestoredState]] \
      [job arguments]

在Mac系统，需要注意，如果抛出如下异常，需要在docker控制台配置docker的文件权限是否包括当前挂载目录

docker: Error response from daemon: invalid mount config for type "bind": bind source path does not exist: xxx

在这里插入图片描述

如果启动时出现如下错误，需要将Flink启动类放在挂载目录中

org.apache.flink.util.FlinkException: Could not find the provided job class (com.job.ClassName) in the user lib directory (/opt/flink/usrlib).
	at org.apache.flink.client.deployment.application.ClassPathPackagedProgramRetriever.getJobClassNameOrScanClassPath(ClassPathPackagedProgramRetriever.java:140) ~[flink-dist_2.12-1.11.2.jar:1.11.2]
	at org.apache.flink.client.deployment.application.ClassPathPackagedProgramRetriever.getPackagedProgram(ClassPathPackagedProgramRetriever.java:123) ~[flink-dist_2.12-1.11.2.jar:1.11.2]
	at org.apache.flink.container.entrypoint.StandaloneApplicationClusterEntryPoint.getPackagedProgram(StandaloneApplicationClusterEntryPoint.java:110) ~[flink-dist_2.12-1.11.2.jar:1.11.2]
	at org.apache.flink.container.entrypoint.StandaloneApplicationClusterEntryPoint.main(StandaloneApplicationClusterEntryPoint.java:78) [flink-dist_2.12-1.11.2.jar:1.11.2]

3. 启动TaskManger

docker run \
      --mount type=bind,src=/tmp/flink/usrlib/artifacts1,target=/opt/flink/usrlib/artifacts1 \
      --mount type=bind,src=/tmp/flink/usrlib/artifacts2,target=/opt/flink/usrlib/artifacts2 \
      --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
      --network flink-network \
      flink:1.11.2-scala_2.11 taskmanager

通过k8s启动

1. 准备镜像

1.1. 基于flink:1.11.2-scala_2.11 将Job启动函数以及依赖，生成新的镜像

Dockerfile，Job 启动类(flink.demo.word.WordCountMain)在usrlib/artifacts1目录

FROM flink:1.11.2-scala_2.11
ADD usrlib/artifacts1 /opt/flink/usrlib/artifacts1
ADD usrlib/artifacts2 /opt/flink/usrlib/artifacts2

生成新的镜像

docker build -t flink_with_job_artifacts:1.11.2-scala_2.11 .

试运行启动任务
JobManager

docker run \
      --rm \
      --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
      --name=jobmanager \
      --network flink-network \
      flink_with_job_artifacts:1.11.2-scala_2.11 standalone-job 
      --job-classname flink.demo.word.WordCountMain \
      [--job-id <job id>] \
      [--fromSavepoint /path/to/savepoint [--allowNonRestoredState]] \
      [job arguments]

TaskManager

docker run \
      --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
      --network flink-network \
      flink_with_job_artifacts:1.11.2-scala_2.11 taskmanager

1.2. k8s集群

可通过本地搭建MiniKube，或者使用已有集群
本地可通过docker Desktop直接安装，如果一直处理启动中的状态，可以将docker镜像指定为国内镜像仓库

在这里插入图片描述

2. Per-Job模式启动flink

每提交一个任务，单独启动一个集群运行该任务，运行结束集群被删除，资源也被释放。任务启动较慢，适合于长时间运行的大型任务。需要手动指定TaskManger数量

2.1. 资源描述文件

新建flink-config配置，主要为flink公共配置。每个flink作业不同的配置，可在job配置启动参数单独配置
flink-configuration-configmap.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  labels:
    app: flink
data:
  flink-conf.yaml: |+
    #jobmanager.rpc.address: flink-jobmanager
    taskmanager.numberOfTaskSlots: 2
    blob.server.port: 6124
    jobmanager.rpc.port: 6123
    taskmanager.rpc.port: 6122
    queryable-state.proxy.ports: 6125
    jobmanager.memory.process.size: 1600m
    taskmanager.memory.process.size: 1728m
    parallelism.default: 2
  log4j-console.properties: |+
    # This affects logging for both user code and Flink
    rootLogger.level = INFO
    rootLogger.appenderRef.console.ref = ConsoleAppender
    rootLogger.appenderRef.rolling.ref = RollingFileAppender

    # Uncomment this if you want to _only_ change Flink's logging
    #logger.flink.name = org.apache.flink
    #logger.flink.level = INFO

    # The following lines keep the log level of common libraries/connectors on
    # log level INFO. The root logger does not override this. You have to manually
    # change the log levels here.
    logger.akka.name = akka
    logger.akka.level = INFO
    logger.kafka.name= org.apache.kafka
    logger.kafka.level = INFO
    logger.hadoop.name = org.apache.hadoop
    logger.hadoop.level = INFO
    logger.zookeeper.name = org.apache.zookeeper
    logger.zookeeper.level = INFO

    # Log all infos to the console
    appender.console.name = ConsoleAppender
    appender.console.type = CONSOLE
    appender.console.layout.type = PatternLayout
    appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    # Log all infos in the given rolling file
    appender.rolling.name = RollingFileAppender
    appender.rolling.type = RollingFile
    appender.rolling.append = false
    appender.rolling.fileName = ${sys:log.file}
    appender.rolling.filePattern = ${sys:log.file}.%i
    appender.rolling.layout.type = PatternLayout
    appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    appender.rolling.policies.type = Policies
    appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
    appender.rolling.policies.size.size=100MB
    appender.rolling.strategy.type = DefaultRolloverStrategy
    appender.rolling.strategy.max = 10

    # Suppress the irrelevant (wrong) warnings from the Netty channel handler
    logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline
    logger.netty.level = OFF

将JobManager公开为k8s的服务，以便其他TaskManger可以注册
其中，${JOB}可替换，是区分不同作业的名称

jobmanager-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: ${JOB}-jobmanager
spec:
  type: ClusterIP
  ports:
  - name: rpc
    port: 6123
  - name: blob-server
    port: 6124
  - name: webui
    port: 8081
  selector:
    app: flink
    component: ${JOB}-jobmanager

定义JobManager资源配置，其中需要执行镜像文件image，不同的作业通过 ${JOB}来指定。
如果是本地调试，可以指定volumeMounts来加载本地flink作业运行环境，并且在args来指定运行主类

jobmanager-job.yaml

apiVersion: batch/v1
kind: Job
metadata:
  name: ${JOB}-jobmanager
spec:
  template:
    metadata:
      labels:
        app: flink
        component: ${JOB}-jobmanager
    spec:
      restartPolicy: OnFailure
      containers:
        - name: jobmanager
          image: flink_with_job_artifacts:1.11.2-scala_2.11
          env:
          args: ["standalone-job", "-Djobmanager.rpc.address=${JOB}-jobmanager","--job-classname", "flink.demo.word.WordCountMain"] # optional arguments: ["--job-id", "<job id>", "--fromSavepoint", "/path/to/savepoint", "--allowNonRestoredState"]
          ports:
            - containerPort: 6123
              name: rpc
            - containerPort: 6124
              name: blob-server
            - containerPort: 8081
              name: webui
          livenessProbe:
            tcpSocket:
              port: 6123
            initialDelaySeconds: 30
            periodSeconds: 60
          volumeMounts:
            - name: flink-config-volume
              mountPath: /opt/flink/conf
#            - name: job-artifacts-volume
#              mountPath: /opt/flink/usrlib
          securityContext:
            runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary
      volumes:
        - name: flink-config-volume
          configMap:
            name: flink-config
            items:
              - key: flink-conf.yaml
                path: flink-conf.yaml
              - key: log4j-console.properties
                path: log4j-console.properties
#        - name: job-artifacts-volume
#          hostPath:
#            path: /tmp/flink/usrlib/artifacts1

定义TaskManager资源配置
注意同一个任务的${JOB}需要相同，否则TaskManager无法注册成功

taskmanager-job-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ${JOB}-taskmanager
spec:
  replicas: 2
  selector:
    matchLabels:
      app: flink
      component: ${JOB}-taskmanager
  template:
    metadata:
      labels:
        app: flink
        component: ${JOB}-taskmanager
    spec:
      containers:
      - name: taskmanager
        image: flink_with_job_artifacts:1.11.2-scala_2.11
        env:
        args: ["taskmanager","-Djobmanager.rpc.address=${JOB}-jobmanager"]
        ports:
        - containerPort: 6122
          name: rpc
        - containerPort: 6125
          name: query-state
        livenessProbe:
          tcpSocket:
            port: 6122
          initialDelaySeconds: 30
          periodSeconds: 60
        volumeMounts:
        - name: flink-config-volume
          mountPath: /opt/flink/conf/
#        - name: job-artifacts-volume
#          mountPath: /opt/flink/usrlib
        securityContext:
          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary
      volumes:
      - name: flink-config-volume
        configMap:
          name: flink-config
          items:
          - key: flink-conf.yaml
            path: flink-conf.yaml
          - key: log4j-console.properties
            path: log4j-console.properties
#      - name: job-artifacts-volume
#        hostPath:
#          path: /tmp/flink/usrlib/artifacts1

2.2. 依次执行以下命令，启动一个flink 作业

执行前需要将${JOB}进行替换,
本地环境：JobManager启动成功后，可通过访问http://localhost:8081，来监控Flink作业状态

kubectl create -f flink-configuration-configmap.yaml
kubectl create -f jobmanager-service.yaml
kubectl create -f jobmanager-job.yaml
kubectl create -f taskmanager-job-deployment.yaml

任务退出

如果flink作业是全量任务，执行完后容器会自动停止。但是flink服务和flink TaskManager 需要手动释放资源。后期可通过JobManager任务执行完后的回调事件，通过k8s api释放这些资源。

kubectl delete -f jobmanager-job.yaml
kubectl delete -f taskmanager-job-deployment.yaml
kubectl create -f jobmanager-service.yaml

特点

优点：隔离性比较好，任务之间资源不冲突，一个任务单独使用一个 Flink 集群；相对于 Flink session 集群而且，资源随用随建，任务执行完成后立刻销毁资源，资源利用率会高一些。

缺点：需要提前指定 TaskManager 的数量，如果 TaskManager 指定的少了会导致作业运行失败，指定的多了仍会降低资源利用率；资源是实时创建的，启动长

3. Native Per Job 模式启动 （推荐）

该模式允许用户创建一个单独的映像，其中包含他们的作业和Flink运行环境，它将根据需要自动创建和销毁集群组件。Flink native per-job Flink 1.11 版本中提供。

交互原理

k8s调度流程

特点

native per-job cluster 也是任务提交的时候才创建 Flink 集群，不同的是，无需用户指定 TaskManager 资源的数量，因为同样借助了 Native 的特性，Flink 直接与 Kubernetes 进行通信并按需申请资源。

优点：资源按需申请，适合一次性任务，任务执行后立即释放资源，保证了资源的利用率。

缺点：资源是在任务提交后开始创建，同样意味着对于提交任务后对延时比较敏感的场景，需要一定的权衡;

3.1 启动flink集群

进入flink安装包目录执行，启动成功后，用户可以登录http://localhost:8081来访问flink控制台

./bin/flink run-application -p 8 -t kubernetes-application \
  -Dkubernetes.cluster-id=befb-d76db49flink-demo \
  -Dtaskmanager.memory.process.size=1024m \
  -Dkubernetes.taskmanager.cpu=1 \
  -Dtaskmanager.numberOfTaskSlots=6 \
  -Dkubernetes.container.image=flink_with_job_artifacts:1.11.2-scala_2.11 \
  local:///opt/flink/usrlib/artifacts1/flink-demo-1.0-SNAPSHOT.jar

Note: local参数代表的是flink镜像文件中（flink_with_job_artifacts:1.11.2-scala_2.11），作业执行主类jar在镜像中的路径。打包请看上面的Dockerfile文件描述

3.2 停止Flink集群
./bin/flink cancel -t kubernetes-application -Dkubernetes.cluster-id=<ClusterID> <JobID>
vhicool
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【k8s部署flink在x86架构和arm架构服务器上的踩坑】
qq_36956082的博客
01-28 745
k8s部署flink在x86架构和arm架构服务器上的踩坑
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
最新发布
jy739761380的专栏
04-03 272
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
flink部署模式（三）- standalone k8s session 部署模式
weixin_38251332的博客
06-20 759
flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/ 如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则 Flink 组件不能自动地将自己映射到 Kubernetes Service 中。拉取镜像测试镜像可用性登录本地镜像仓库重新打标签推送镜像NOTE： 需要镜像上传到d
最新 Flink 1.13 部署（Session、Per-Job、Application、HA、YARN）快速入门、详细教程
博文约礼
04-07 6386
Flink 部署;一、部署模式;1. 会话模式（Session Mode）;2. 单作业模式（Per-Job Mode）;3. 应用模式（Application Mode）;4. 对比;二、独立模式（Standalone）;1. 会话模式部署;2. 单作业模式部署;3. 应用模式部署;4. 高可用(High Availability );三、YARN 模式;1. 相关准备和配置;2. 会话模式部署;3. 单作业模式部署;4. 应用模式部署;5. 高可用
在k8s 中搭建flink，解决Flink输出日志中时间比当前时间晚8个小时的问题
安冉
06-01 1130
在k8s 中搭建flink 即使把pod时区时间修改为与服务器一致的时间，flink时间仍然不对 需要修改配置文件flink-conf.yaml
k8s: mount了nfs目录的Deployment
amadeus_liu2的博客
07-06 445
k8s
Flink On K8s实战课程2023
09-01
Flink On K8s实战课程分享下载，视频+源码+文档+虚拟机+软件包下载！！ 目前项目中用到Flink作为离线ETL处理构建相关的特征系统，而特征系统主要是为数据科学家、数据工程师、机器学习工程师去使用，用来去构建AI...
flink-k8s:Kubernetes的Flink图像，修复了Jobmanage连接问题
04-27
在Kubernetes上进行Flink。 Flink建筑 一个活动的JobManager...Jobmanager使用自定义Flink Docker映像“ afilichkin / flink-k8s-with-submit-job”，它启动JM并提交“ app.jar” JM服务（jobmanager-service.yaml）
flink-k8s-toolbox:Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上部署和管理Apache Flink
05-27
Flink Kubernetes工具箱 Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上... 重新启动作业时自动从最新的保存点恢复 支持部署，集群和作业资源 支持批处理和流式作业 支持无作业的群集（裸群集） 支持具有一
1-FFA-YUNIKORN对Flink-on-K8s的调度优化-Final_compressed1
08-03
此外，使用K8s的方式管理Flink作业，需要预先估计资源需求，这增加了管理的复杂性。 为了解决这些问题，社区正在推动Flink与K8s的原生集成。这种集成可以提供更灵活和易用的部署方式，允许动态申请资源以实现弹性...
Apache Flink-实时计算正当时.pdf
01-25
Application 部署模式开启了使 Flink 作业更接近普通应用（即启动 Flink 作业不需要执行两个独立的步骤来启动集群和提交应用）的努力，而被动扩缩容完成了这一目标：用户不再需要使用额外的工具（如脚本、K8s 算子）...
快速基于k8s部署flink
sinat_42406646的博客
02-01 621
快速部署flink到k8s
【kubernetes/k8s概念】k8s 坑问题汇总
zhonglinzhang
12-26 3万+
1.Pod始终处于Pending状态 如果Pod保持在Pending的状态，意味着无法被正常的调度到节点上。由于某种系统资源无法满足Pod运行的需求 系统没有足够的资源：已经用尽了集群中所有的CPU或内存资源。需要清理一些不在需要的Pod，调整它们所需的资源量，或者向集群中增加新的节点。 用户指定了hostPort：通过hostPort用户能够将服务暴露到指定的主机端口上，会限......
k8s volumeMounts 功能 使用时subPath 参数
热门推荐
hubanbei2010的家园
01-31 4万+
写pod的yaml文件时，如果想使用云存储，则volumeMounts这个property， mountPath 为container内部目录 而subPath 虽然紧跟mountpath， 最容易被误解为本地路径，其实其为远端云存储上的子路径 所以进入pod内部看磁盘情况，显示 bbuser@stream-notifications-baseline-learn-tomcat-7cd697-2x...
k8s中pod的重启策略和健康检查
huahua1999的博客
04-06 1万+
k8s中pod的重启策略 pod中一共有以下三个重启策略（restartPolicy） 1、Always：当容器终止退出后，总是重启容器，默认策略。 2、OnFailure：当容器异常退出（退出状态码非0）时，才重启容器。 3、Never：当容器终止退出，从不重启容器。 三种重启策略中，Always是默认策略，即当用户在配置文件中未配置关于重启的策略，则默认为Always. 检查示例 模拟http请求与存活检查 先创建一个nginx的deployment.yaml kub..
Flink On K8s使用合集
tamako0v0的博客
07-23 2779
Flink On K8s使用 版本 修订内容 修改人 日期 1.0 初始 刘黎 2020.07.08 1.在K8s上...
Flink On K8s
m0_50670853的博客
04-28 2471
一. 环境 1. 可用的k8s集群 2. 宿主机有flink 在这里插入图片描述 3. 创建k8s命名空间 # 创建namespace kubectl create namespace flink-session-test # 新建一个serviceaccount, 提交flink kubectl create serviceaccount flink -n flink-session-test # 绑定 kubectl create clusterrolebinding flink-role-bin
k8s 如何设置 java启动参数_Kubernetes环境下调整WebLogic JVM基本参数
weixin_29774611的博客
02-25 4916
基于Kubernetes启动WebLogic后，发现JVM的最大heap size一直在700多M左右,通过kubectl logs 察看pod启动状态,发现日志中并没有-Xms和-Xmx参数.日志部分如下:[root@k8s-master fluentd-elasticsearch]# kubectl logs helloworld-service-4d72j..JAVA Memory argu...
flink 传参 启动_Flink之参数设置
weixin_39639600的博客
12-21 1477
上篇文章啰里啰嗦说了那么多，不知道大家理解的怎么样！写本文也是衔接上篇文章继续学习以便加深对Flink原理的理解。接下来主要是梳理一下-p, -yn 和实际Flink作业提交成功之后生成TaskManager的个数之间的关系。继续往下看☞①yn参数官网解释： -yn,--yarncontainer Number of YARN container to allocate (=Number o...
flink k8s 面试
11-11
Flink在Kubernetes上的部署是一个热门话题，以下是一些可能会在Flink K8s面试中被问到的问题和答案： 1. 什么是Flink K8s Operator？ Flink K8s Operator是一个Kubernetes Operator，它可以自动化地管理Flink集群的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值