Flink Kubernates Native - 入门

已于 2023-08-29 10:22:24 修改
阅读量577 收藏
点赞数
分类专栏： Flink实时计算 文章标签： flink 大数据
于 2023-08-28 16:12:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38231448/article/details/132540544
版权

创建 namespace

[root@CentOSA flink-1.17.1]# kubectl create ns flink-native
[root@CentOSA flink-1.17.1]# kubectl config set-context --current --namespace=flink-native

命令空间添加资源限制

[root@CentOSA flink-1.17.1]# vim namespace-ResourceQuota.yaml

apiVersion: v1 
kind: ResourceQuota
metadata:
  name: mem-cpu-quota
  namespace: flink-native
spec:
  hard:
    requests.cpu: "10"
    requests.memory: 10Gi
    limits.cpu: "10"
    limits.memory: 10Gi

[root@CentOSA flink-1.17.1]# kubectl apply -f namespace-ResourceQuota.yaml

创建用户并赋权

[root@CentOSA flink-1.17.1]# kubectl create serviceaccount ric
[root@CentOSA flink-1.17.1]# kubectl create clusterrolebinding flink-role-binding-flink --clusterrole=edit --serviceaccount=flink-native:ric --namespace=flink-native
  • 提前在所有的flnk节点拉取flink镜像
[root@CentOSA flink-1.17.1]# docker pull apache/flink:1.17.1-scala_2.12 
[root@CentOSA flink-1.17.1]# docker pull flink:1.17.1-scala_2.12

SessionMode

创建Flink 会话
./bin/kubernetes-session.sh \
  -Dkubernetes.namespace=flink-native \
  -Dkubernetes.jobmanager.service-account=ric \
  -Dkubernetes.cluster-id=session001 \
  -Dtaskmanager.memory.process.size=1024m \
  -Dkubernetes.taskmanager.cpu=1 \
  -Dtaskmanager.numberOfTaskSlots=4 \
  -Dresourcemanager.taskmanager-timeout=3600000 \
  -Dkubernetes.rest-service.exposed.type=NodePort \
  -Dkubernetes.container.image.ref=flink:1.17.1-scala_2.12 

2023-08-28 15:50:06,802 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: taskmanager.memory.process.size, 1728m
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: jobmanager.bind-host, localhost
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: taskmanager.bind-host, localhost
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: taskmanager.host, localhost
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: parallelism.default, 1
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: jobmanager.execution.failover-strategy, region
2023-08-28 15:50:06,805 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: jobmanager.rpc.address, localhost
2023-08-28 15:50:06,806 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: taskmanager.numberOfTaskSlots, 1
2023-08-28 15:50:06,806 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: rest.address, localhost
2023-08-28 15:50:06,806 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: jobmanager.memory.process.size, 1600m
2023-08-28 15:50:06,806 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: jobmanager.rpc.port, 6123
2023-08-28 15:50:06,806 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: rest.bind-address, localhost
2023-08-28 15:50:06,900 INFO  org.apache.flink.client.deployment.DefaultClusterClientServiceLoader [] - Could not load factory due to missing dependencies.
2023-08-28 15:50:08,271 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (160.000mb (167772162 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2023-08-28 15:50:08,291 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (102.400mb (107374184 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2023-08-28 15:50:08,292 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction network memory (57.600mb (60397978 bytes)) is less than its min value 64.000mb (67108864 bytes), min value will be used instead
2023-08-28 15:50:08,498 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration blob.server.port will be set to 6124
2023-08-28 15:50:08,498 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration taskmanager.rpc.port will be set to 6122
2023-08-28 15:50:09,989 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Create flink session cluster session001 successfully, JobManager Web Interface: http://192.168.42.130:32432

可以根据提示信息访问JobManager Web Interface: http://192.168.42.130:32432页面
Session会话页面

提交任务到指定会话

运行flink session任务

 ./bin/flink run \
    --target kubernetes-session \
    -Dkubernetes.cluster-id=session001 \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort \
    ./examples/streaming/TopSpeedWindowing.jar

Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
2023-08-28 15:54:02,974 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Retrieve flink cluster session001 successfully, JobManager Web Interface: http://192.168.42.130:32432
Job has been submitted with JobID 465dd11e73b5c9ac49c8e2945bf862b2

提交任务结果

查看任务列表
 ./bin/flink list \
    --target kubernetes-session \
    -Dkubernetes.cluster-id=session001 \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort \

2023-08-28 15:57:33,654 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Retrieve flink cluster session001 successfully, JobManager Web Interface: http://192.168.42.130:32432
Waiting for response...
------------------ Running/Restarting Jobs -------------------
28.08.2023 15:54:03 : 465dd11e73b5c9ac49c8e2945bf862b2 : CarTopSpeedWindowingExample (RUNNING)
--------------------------------------------------------------
No scheduled jobs.
取消任务：
 ./bin/flink cancel \
    --target kubernetes-session \
    -Dkubernetes.cluster-id=session002 \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort \
    465dd11e73b5c9ac49c8e2945bf862b2

Cancelling job 465dd11e73b5c9ac49c8e2945bf862b2.
2023-08-28 16:02:43,209 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Retrieve flink cluster session001 successfully, JobManager Web Interface: http://192.168.42.130:32432
Cancelled job 465dd11e73b5c9ac49c8e2945bf862b2.
删除session作业：
[root@CentOSA flink-1.17.1]# kubectl delete deployment session001 -n flink-native
deployment.apps "session001" deleted

Application Model

构建docker镜像

1、编写DockerFile

[root@CentOSA flink-1.17.1] cd /export/server/app-mode
[root@CentOSA app-mode] vi Dockerfile
FROM flink
RUN mkdir -p $FLINK_HOME/usrlib
COPY TopSpeedWindowing.jar $FLINK_HOME/usrlib/TopSpeedWindowing.jar

2、构建镜像文件

[root@CentOSC app-mode]# docker build -t my-flink-job:1.0 ./
[+] Building 0.6s (8/8) FINISHED                                                                                                                                                                                      docker:default
 => [internal] load .dockerignore                                                                                                                                                                                               0.1s
 => => transferring context: 2B                                                                                                                                                                                                 0.0s
 => [internal] load build definition from Dockerfile                                                                                                                                                                            0.1s
 => => transferring dockerfile: 271B                                                                                                                                                                                            0.0s
 => [internal] load metadata for docker.io/library/flink:1.17.1-scala_2.12                                                                                                                                                      0.0s
 => [1/3] FROM docker.io/library/flink:1.17.1-scala_2.12                                                                                                                                                                        0.1s
 => [internal] load build context                                                                                                                                                                                               0.0s
 => => transferring context: 17.04kB                                                                                                                                                                                            0.0s
 => [2/3] RUN mkdir -p /opt/flink/usrlib                                                                                                                                                                                        0.3s
 => [3/3] COPY TopSpeedWindowing.jar  /opt/flink/usrlib/TopSpeedWindowing.jar                                                                                                                                                   0.0s
 => exporting to image                                                                                                                                                                                                          0.0s
 => => exporting layers                                                                                                                                                                                                         0.0s
 => => writing image sha256:a017db16aaa8086045dc1b28315e6e2fe47113aa41e1a0f547b58c1b191dac4a                                                                                                                                    0.0s
 => => naming to docker.io/library/my-flink-job:1.0                                                                                                                                                                             0.0s
[root@CentOSC appMode]# docker images
REPOSITORY                                           TAG                 IMAGE ID       CREATED              SIZE
my-flink-job                                         1.0                 a017db16aaa8   About a minute ago   782MB
flannel/flannel                                      v0.22.2             d73868a08083   10 days ago          70.2MB
flink                                                1.17.1-scala_2.12   efd18635797b   11 days ago          782MB
flannel/flannel-cni-plugin                           v1.2.0              a55d1bad692b   5 weeks ago          8.04MB
apache/flink                                         1.17.1-scala_2.12   fef5f770f8b3   3 months ago         780MB
registry.aliyuncs.com/google_containers/kube-proxy   v1.20.5             5384b1650507   2 years ago          118MB
registry.aliyuncs.com/google_containers/pause        3.2                 80d28bedfe5d   3 years ago          683kB
启动任务
 ./bin/flink run-application \
    --target kubernetes-application \
    -Dkubernetes.cluster-id=my-first-application-cluster \
    -Dkubernetes.container.image=my-flink-job:1.0 \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort \
    local:/opt/flink/usrlib/TopSpeedWindowing.jar 

2023-08-28 16:07:45,180 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration blob.server.port will be set to 6124
2023-08-28 16:07:45,181 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration taskmanager.rpc.port will be set to 6122
2023-08-28 16:07:46,742 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Create flink application cluster my-first-application-cluster successfully, JobManager Web Interface: http://192.168.42.130:32003

App 应用模型

查看任务列表
./bin/flink list \
    --target kubernetes-application \
    -Dkubernetes.cluster-id=my-first-application-cluster \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort 

2023-08-28 16:10:00,093 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Retrieve flink cluster my-first-application-cluster successfully, JobManager Web Interface: http://192.168.42.130:32003
Waiting for response...
------------------ Running/Restarting Jobs -------------------
28.08.2023 16:07:59 : c9ec57a2003a808ef5df04219fc7aacb : CarTopSpeedWindowingExample (RUNNING)
--------------------------------------------------------------
No scheduled jobs.
删除任务
 ./bin/flink cancel \
    --target kubernetes-application \
    -Dkubernetes.cluster-id=my-first-application-cluster \
    -Dkubernetes.namespace=flink-native \
    -Dkubernetes.jobmanager.service-account=ric \
    -Dkubernetes.rest-service.exposed.type=NodePort \
    c9ec57a2003a808ef5df04219fc7aacb

2023-08-28 16:11:16,963 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Retrieve flink cluster my-first-application-cluster successfully, JobManager Web Interface: http://192.168.42.130:32003
Cancelled job c9ec57a2003a808ef5df04219fc7aacb.
麦田里的守望者·
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Mac下使用flink-kubernetes-operator本地运行flink程序
九师兄
04-28 28
flink-kubernetes-operator是由Java实现的，它允许用户通过kubectl等原生k8s工具管理Flink应用程序及其生命周期，描述如下：。。flink-kubernetes-operator 可以将 Flink 作业定义为 Kubernetes 资源，这样可以更容易地将 Flink 作业作为 Kubernetes 基础架构的一部分管理。
flink-kubernetes-operator-1.7.0-src.tgz
02-18
flink-kubernetes-operator-1.7.0-src.tgz，flink-kubernetes-operator-1.7.0-src.tgz，flink-kubernetes-operator-1.7.0-src.tgz，flink-kubernetes-operator-1.7.0-src.tgz
linux下安装flink 1.18
11-10 458
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。进入flink的bin下面，输入./start-cluster.sh 就启动了。在flink下面创建data，在data下面创建zk和tmp。远程就可以访问了，访问地址是http://ip:8081。3.3、配置flink-conf.yaml。3.1、配置环境变量。
flink-kubernetes-operator 的简单使用
阿甘兄
02-13 3241
flink kubernetes operator 学习笔记
Flink1.12 native kubernetes 演进之路
http://www.54tianzhisheng.cn/
12-12 619
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.10Flink 1.10 开始支持将 native kubern...
Flink入门系列--安装部署及任务提交(1.14.3版本)
打酱油的葫芦娃
03-12 7873
部署模式 Flink 的部署模式分为3种: Application 模式 Per-Job 模式 Session 模式 Application 模式 Application 模式即 Flink 为1个应用专门创建1个集群，Flink集群和应用同生命周期，Application 的main()方法将由 JobManager执行。在其他部署模式下，用户 Jar 文件是通过 RPC 来进行分发的，因为需要走网络IO，当用户 Jar 文件较大时，JobManager 加载用户 Jar 文件将是1个耗时的操作。为
flink部署-1.13
第一片心意的博客
12-04 1889
本博客为 flink 1.13 官网中 flink 部署部分内容的翻译整理。
Flink Native Kubernetes实战(1)
最新发布
2401_84411847的博客
04-18 533
本次实战是在kubernetes环境创建一个session cluster，然后提交任务到这个sessionc cluster运行，与官方教程不同的是本次实战使用自定义namespace和service account，毕竟生产环境一般是不允许使用default作为namespace和service account的；小编在这里分享些我自己平时的学习资料，由于篇幅限制，pdf文档的详解资料太全面，细节内容实在太多啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！
Kubernetes-native 弹性分布式深度学习系统
CSDN业界要闻
10-11 207
戳蓝字“CSDN云计算”关注我们哦！作者 | 阿里云云栖社区转自 | CSDN企业博客责编 | 阿秃分布式深度学习的技术思路基于 TensorFlow 的分布式训练系统...
如何在 Kubernetes 中快速部署 Apache Flink 集群
easylife206的专栏
01-04 1482
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！一、概述Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。Flink官网：https://flink.apache.org/不同版本的文档：https://nightlies.apache...
flink-table-planner-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-planner-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti
07-01
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-table-planner-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）
05-07
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行...
Flink Yarn TaskManager|JobManager日志采集方案
麦田里的守望者-蒋中洲【相信相信的力量】
11-08 3178
背景 Flink on Yarn 的模式下,TaskManager的日志会存储到所在的 DataNode 上,当 Flink 任务发生异常，产生异常日志时，需要第一时间感知任务已经出现异常，避免影响业务。因此需要将Flink任务的日志实时收集起来，任务出现异常日志立刻报警，做的真正意义上的实时报警，，而不是等Flink任务掉线了再发出报警。收集任务日志的好处除了任务掉线方便我们通过日志定位问题，还可以支持日志实时报警，搜索，展示等功能的实现。 Flink-1.7.2/1.10 1、修改$FLINK_HOME
Apache Flink 课外阅读
麦田里的守望者-蒋中洲【相信相信的力量】
08-25 1960
Apache Flink Flink 概述 首先大数据存储和分析引擎Hadoop自2006年诞生。谈及Hadoop大家自然不会对 MapReduce感到陌生，它将计算分为两个阶段，分别为 Map 和 Reduce。MapReduce计算框架虽然借鉴了函数式编程和矢量编程的思想完成了分布式计算。但不得不承认MapReduce在矢量编程结构过于简单，在完成一些比较复杂的高阶计算（例如：机器学习线性回归...
Apache Flink之架构概述和环境(章节一)
麦田里的守望者-蒋中洲【相信相信的力量】
04-26 1147
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育 背景介绍 继Spark之后第三代内存计算框架Flink应运而生，Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华，依然采用DAG模型做任务拆分，但是Spark在流处理领域上因为微观批处理实时性不高甚至在性能上还不能和一代流处理框架Storm匹...
Flink Operator 使用指南 之 全局配置
麦田里的守望者-蒋中洲【相信相信的力量】
11-20 944
Flink Operator全局配置
flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb
04-04
Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作 在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值