详解 Flink 的常见部署方式

于 2024-06-06 12:54:55 发布
阅读量1.1k 收藏 17
点赞数 7
分类专栏： Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44480009/article/details/139497099
版权

一、常见部署模式分类

1. 按是否依赖外部资源调度

1.1 Standalone 模式

独立模式 (Standalone) 是独立运行的，不依赖任何外部的资源管理平台，只需要运行所有 Flink 组件服务

1.2 Yarn 模式

Yarn 模式是指客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会在 Yarn 的 NodeManager 上创建容器。在这些容器上，Flink 会部署 JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源

2. 按集群的生命周期和执行位置

2.1 会话模式
  • 会话模式 (Session Mode) 是指先启动一个集群，保持一个会话并且确定所有的资源，然后向集群提交作业，所有提交的作业会竞争集群中的资源，从而会出现资源不足作业执行失败的情况
  • 会话模式比较适合于单个规模小、执行时间短的大量作业
2.2 单作业模式
  • 单作业模式 (Per-Job Mode) 是指为每一个提交的作业启动一个集群，由客户端运行应用程序，然后启动集群，作业被提交给 JobManager，进而分发给 TaskManager 执行。作业作业完成后，集群就会关闭，所有资源也会释放。
  • 单作业模式在生产环境运行更加稳定，所以是实际应用的首选模式
  • 单作业模式一般需要借助一些资源管理框架来启动集群，比如 YARN、Kubernetes
2.3 应用模式
  • 应用模式 (Application Mode) 是指为每一个提交的应用单独启动一个 JobManager，也就是创建一个集群。这个 JobManager 只为执行这一个应用而存在，执行结束之后 JobManager 也就关闭了。这一模式下没有客户端的存在
  • 应用模式与单作业模式，都是提交作业之后才创建集群；单作业模式是通过客户端来提交作业的，客户端解析出的每一个作业对应一个集群；而应用模式下，是直接由 JobManager 执行应用程序的，并且即使应用包含了多个作业，也只创建一个集群

二、常见部署模式组合

  • Standalone + 会话模式
  • Standalone + 应用模式
  • Yarn + 会话模式
  • Yarn + 单作业模式
  • Yarn + 应用模式

三、独立模式安装

1. 单节点安装

  • flink 下载地址：https://flink.apache.org/downloads/

  • 下载 flink 安装包：flink-1.10.1-bin-scala_2.12.tgz

  • 将安装包上传到虚拟机节点并解压缩

    tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module
cd /opt/module
mv flink-1.10.1 flink

  • 进入 flink 安装目录，执行启动命令，并查看进程

    cd /opt/module/flink
bin/start-cluster.sh

jps

  • 访问 http://hadoop102:8081 进入 flink 集群和任务监控管理 Web 页面

  • 关闭 flink：bin/stop-cluster.sh

2. 集群安装

2.1 集群规划
节点服务器hadoop102hadoop103hadoop104
角色JobManagerTaskManagerTaskManager
2.2 步骤

  • 下载 flink 安装包：flink-1.10.1-bin-scala_2.12.tgz

  • 将安装包上传到 hadoop102 并解压缩

    tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module
cd /opt/module
mv flink-1.10.1 flink

  • 进入 flink 安装目录下的 conf 目录，修改配置文件 flink-conf.yaml

    cd /opt/module/flink/conf
vim flink-conf.yaml

    #修改 jobmanager 内部通信主机名
jobmanager.rpc.address: hadoop102
jobmanager.rpc.port: 6123

  • 修改 conf 目录下的 slaves 文件，配置 taskmanager 节点

    vim slaves #1.13版本为 workers 文件
#添加内容
hadoop103
hadoop104

  • flink-conf.yaml 文件中常用配置项：

    #对 JobManager 进程可使用到的全部内存进行配置，包括 JVM 元空间和其他开销，默认为 1600M，可以根据集群规模进行适当调整
jobmanager.memory.process.size: 1600

#对 TaskManager 进程可使用到的全部内存进行配置，包括 JVM 元空间和其他开销，默认为 1600M，可以根据集群规模进行适当调整
taskmanager.memory.process.size: 1600

#对每个 TaskManager 能够分配的 TaskSlot 数量进行配置，默认为 1，可根据 TaskManager 所在的机器能够提供给 Flink 的 CPU 数量决定。Slot 就是 TaskManager 中具体运行一个任务所分配的计算资源
taskmanager.numberOfTaskSlots: 1

#Flink 任务执行的默认并行度，优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量
parallelism.default: 1

  • 分发 flink 安装目录到 hadoop103 和 hadoop104

  • 在 hadoop102 上启动 flink 集群

    cd /opt/module/flink
bin/start-cluster.sh

jps

  • 访问 http://hadoop102:8081 查看 flink 监控页面

3. 提交任务

3.1 会话模式提交

  • 启动 Flink 集群服务

  • 在 hadoop102 中启动 netcat 网络端口

    nc -lk 7777

  • Web 页面提交

    • 将编码好的 Flink maven 工程打成 jar 包
    • 访问 http://hadoop102:8081 进入 flink 监控页面，选择左侧的 Submit New Job 选项菜单
    • 点击 +Add New 按钮，然后选择 jar 包进行上传
    • 点击页面上上传好的 jar 包项，配置填写主程序类全类名、启动参数项、并行度等；点击 submit 提交任务
    • 在页面左侧的 overview 和 jobs 等菜单选项下查看任务运行情况
    • 一个 job 所占据的 TaskSlots 数等于该 job 中最大的并行度

  • 命令行提交

    #提交任务：bin/flink run -m [jobmanager主机和端口] -c [主程序类全类名] -p [并行度] [jar包的绝对路径] [--param1 value1 --param2 value2 ...]
cd flink
bin/flink run -m hadoop102:8081 -c com.app.wc.StreamWordCount2 -p 3 /project/FlinkTutorial/target/FlinkTutorial-1.0-SNAPSHOT.jar --host localhost --port 7777

#查看job：-a 可以查看已经取消的job
bin/flink list [-a]

#取消job
bin/flink cancel [jobId]
3.2 应用模式提交

  • 不能使用 start-cluster.sh 命令启动集群

  • 将编码好的 Flink maven 工程打成 jar 包，并将 jar 包上传到 flink 安装目录下的 lib 目录

  • 启动 JobManager

    cd /opt/module/flink
bin/standalone-job.sh start --job-classname com.app.wc.StreamWordCount2

  • 启动 TaskManager

    cd /opt/module/flink
bin/taskmanager.sh start

  • 访问 http://hadoop102:8081 查看 flink 监控页面的作业执行

  • 关闭

    cd /opt/module/flink
bin/standalone-job.sh stop
bin/taskmanager.sh stop

4. 高可用集群安装

4.1 集群规划
节点服务器hadoop102hadoop103hadoop104
角色JobManagerJobManager / TaskManagerTaskManager
4.2 步骤

  • 在 hadoop102 上进入 flink 目录下的 conf 目录，修改 flink-conf.yaml 文件

    cd /opt/module/flink/conf
vim flink-conf.yaml

    #添加内容
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop102:9820/flink/standalone/ha
high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
high-availability.zookeeper.path.root: /flink-standalone
high-availability.cluster-id: /cluster_atguigu

  • 修改 masters 文件

    vim masters
#添加
hadoop102:8081
hadoop103:8081

  • 分发配置到其他节点

  • 启动

    #保证hadoop环境变量配置生效
#启动 hadoop 集群和 Zookeeper 集群
#启动 flink 集群
cd /opt/module/flink
bin/start-cluster.sh

  • 访问：http://hadoop102:8081 和 http://hadoop103:8081

四、Yarn 模式安装

1. 安装步骤

  • 下载安装包：

    • flink 1.8 版本之前可以直接下载基于 hadoop 版本编译的安装包
    • flink 1.8 及之后的版本除了下载基本的安装包之外，还需要下载 Hadoop 相关版本的组件，如 flink-shaded-hadoop-2-uber-2.7.5-10.0.jar，并将该组件上传至 Flink 的 lib 目录下
    • flink 1.11 版本之后，不再提供 flink-shaded-hadoop-* 的 jar 包，而是通过配置环境变量完成与 Yarn 集群的对接

  • 将安装包上传到虚拟机并解压缩

    tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module
cd /opt/module
mv flink-1.10.1 flink

  • 进入 conf 目录，修改 flink-conf.yaml 文件

    cd /opt/module/flink/conf
vim flink-conf.yaml

    #修改
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 1

  • 确保正确安装 Hadoop 集群和配置 Hadoop 环境变量

    sudo vim /etc/profile.d/my_env.sh

export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

2. 提交任务

2.1 会话模式提交

  • 启动 Hadoop 集群

  • 执行脚本命令向 Yarn 集群申请资源，开启一个 Yarn 会话，启动 Flink 集群

    cd /opt/module/flink
bin/yarn-session.sh -nm test

#-n 参数：指定 TaskManager 数量
#-s 参数：指定 slot 数量
#-d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口，YARN session 也可以后台运行。
#-jm(--jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
#-nm(--name)：配置在 YARN UI 界面上显示的任务名。
#-qu(--queue)：指定 YARN 队列名。
#-tm(--taskManager)：配置每个 TaskManager 所使用内存

  • 提交作业

    • Web UI 提交，同独立模式

    • 命令行提交：

      #1.将打包好的任务运行 JAR 包上传至集群
#2.执行命令
cd /opt/module/flink
bin/flink run -c com.app.wc.StreamWordCount2 FlinkTutorial-1.0-SNAPSHOT.jar

  • 访问 yarn Web UI 界面或 flink Web UI 界面查看作业执行情况

2.2 单作业模式提交

  • 启动 Hadoop 集群

  • 直接向 Yarn 提交一个单独的作业，从而启动一个 Flink 集群

    cd /opt/module/flink
#命令一：
bin/flink run -d -t yarn-per-job -c com.app.wc.StreamWordCount2 FlinkTutorial-1.0-SNAPSHOT.jar

#命令二：
bin/flink run -m yarn-cluster -c com.app.wc.StreamWordCount2 FlinkTutorial-1.0-SNAPSHOT.jar

  • 访问 yarn Web UI 界面或 flink Web UI 界面查看作业执行情况

  • 取消作业：

    cd /opt/module/flink
bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>
2.3 应用模式提交

  • 启动 Hadoop 集群

  • 执行命令提交作业

    #上传 jar 包到集群
cd /opt/module/flink
bin/flink run-application -t yarn-application -c com.app.wc.StreamWordCount2 FlinkTutorial-1.0-SNAPSHOT.jar

#上传 jar 包到 hdfs
bin/flink run-application -t yarn-application 
-Dyarn.provided.lib.dirs="hdfs://myhdfs/my-remote-flink-dist-dir"
hdfs://myhdfs/jars/my-application.jar

  • 查看或取消作业

    /opt/module/flink
bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

3. 高可用配置

YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 本质是利用的 YARN 的重试次数来实现的高可用

  • 在 yarn-site.xml 中配置

    <property>
    <name>yarn.resourcemanager.am.max-attempts</name>
    <value>4</value>
    <description>
    	The maximum number of application master execution attempts.
    </description>
</property>

  • 分发配置到其他节点

  • 在 flink-conf.yaml 中配置

    yarn.application-attempts: 3  #要小于 yarn 的重试次数
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop102:9820/flink/yarn/ha
high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
high-availability.zookeeper.path.root: /flink-yarn

  • 启动 yarn-session，杀死 JobManager, 查看复活情况

文刀小桂
关注
  • 7
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署
胖胖的博客
03-07 1911
同样由客户端运行应用程序(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，需要启动两个集群)，然后启动集群，作业提交给JobManager，进而分发给TaskManager执行。我们需要先启动一个集群，保持一个会话，在这个会话中通过客户端提交作业(需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业，然后将作业提交给jobManager)。一个应用启动一个集群。会话模式、单作业模式，都需要客户端先跑一遍代码，把应用拆分成作业，比如并行度为2，会拆成两个作业。
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言
最新发布
川子的博客
04-21 1980
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言。
Flink三种安装部署方式（HA）
weixin_45131680的博客
10-27 633
Flink提供了多种部署方式，本文只介绍三种常用方式，local、standalone、yarn。
Flink 开发环境搭建和应用的配置部署及运行.pdf
05-21
flink开发环境的搭建和应用的配置部署及运行 详细, 阿里巴巴
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 2588
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
第二章 Flink 环境部署
CDHong.it的技术分享博客
01-04 2333
Apache Flink 本地环境部署和Standalone独立集群模式部署。
编译flink1.6源码并打包成CDH6.3.2的parcel并且部署CDH6.3.2
java技术分享
05-22 1135
10、将打包好的flink-1.16-SNAPSHOT-bin-scala_2.12.tgz放到flink-parcel目录下。14、FLINK-1.16-SNAPSHOT-BIN-SCALA_2.12_build文件夹中包含的文件。包名：flink-1.16-SNAPSHOT-bin-scala_2.12.tgz。7、打包parcel，建议在阿里云服务器上打包很快。9、修改flink-parcel.properties。3、修改flink目录下的pom.xml文件。4、修改setting.xml文件。
Apache Flink源码阅读环境搭建
终回首的博客
09-27 681
目录1 下载源码2 编译打包3 导入项目4 debug 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # flink是用branch区分不同版本的，切换到目标版本 git checkout -b release1.13 remotes/origin/release-1.13 2 编译打包 在项目根目录打开Git Bash 运行如下命令 # 设置大一点的内存，防止内存溢出 export MAVEN_OPTS="-Xmx2g -XX:
flink-1.12.4 for cdh 6.3.2
07-24
《Flink 1.12.4 在 CDH 6.3.2 上的应用与配置详解》 在大数据处理领域，Apache Flink 是一个强大的流处理框架，它提供了低延迟、高吞吐量的数据处理能力。Flink 1.12.4 版本是 Flink 社区发布的一个稳定版本，具有...
Flink 1.11最新版 中文文档
07-27
**Flink 1.11 最新版中文文档详解** Apache Flink 是一个开源的流处理框架，专注于实时数据处理和批处理，具有低延迟、高吞吐量以及精确一次（Exactly-once）语义的特点。在Flink 1.11版本中，它继续优化了性能，...
2009-2017年系统架构师真题和答案详解
04-27
2009年至2017年的系统架构师真题和答案详解，提供了宝贵的参考资料，帮助考生理解和掌握这个领域的核心知识。 一、系统架构概述 系统架构设计是软件开发的前期阶段，它定义了系统的基本组成部分、它们之间的关系...
Hadoop权威指南,hadoop权威指南pdf,Hadoop
09-10
5. **Hadoop实战**：书中包含大量实例，指导读者如何在实际环境中部署和管理Hadoop集群，以及如何解决常见问题。此外，还会探讨Hadoop与其他大数据技术的集成，如Spark、Flink等新一代计算框架。 6. **最佳实践**：...
InstructorApp:一个基于Spring Boot的讲师应用程序
03-25
《InstructorApp：基于Spring Boot的讲师管理应用详解》 InstructorApp是一个使用Spring Boot框架构建的讲师管理应用程序。Spring Boot是Java生态系统中一个流行的微服务开发框架，它以其简化配置、快速启动和内置...
Flink1.13.2三种方式安装部署
逆流而上Mr李
09-22 9636
有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。 以下教程全部使用 Flink1.13.2版本，在普通用户下面部署： 1、Standalone部署 版本要求： 版本 节点 部署方式 flink-1.13.2-bin-scala_2.11.tgz 192.168.244.129 standalone 1.1 将软件安装包放入集群中 1.2、软件包解压 tar -zxvf flink-1.13.2-bin-scala_2.11
Flink部署模式
wenqi
04-21 4611
Flink简介 Apache Flink 是一个框架和分布式处理引擎。用于对无界和 有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算 Flink的应用 一个大数据流处理引擎，为不同的行业提供大数据实时处理的解决方案。为高速准确的处理海量流式数据提供了可能。 数据规模大、实时性要求高、确保结果准确、方便扩展、故障后可恢复 Flink都可以满足 电商和市场营销：实时数据报表，广告投放，实时推荐 物联网：传感器数据采集和显示，实时报警，交通运输业 物流.
Flink安装部署
weixin_42796403的博客
03-01 6252
Flink安装部署 目录Flink安装部署一、开发模式二、local-cluster模式2.1local-cluster模式配置2.2在local-cluster模式下运行无界的WordCount三、Standalone模式3.1Standalone模式配置3.2 Standalone模式运行无界流WorkCount3.3Standalone高可用(HA)四、Yarn模式4.1Yarn模式配置4.2Yarn运行无界流WordCount4.3Flink on Yarn的3种部署模式4.4 Per-Job-Cl
大数据学习之Flink，了解Flink的多种部署模式
2301_78038072的博客
01-22 1912
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
flink的部署模式
张不帅
05-08 1421
文章目录会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode） flink 主要分为三种部署模式: ⚫ 会话模式（Session Mode） ⚫ 单作业模式（Per-Job Mode） ⚫ 应用模式（Application Mode） 会话模式（Session Mode） 首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源 问题: 同一个task manager上的作业
spark和flink的部署方式
05-23
Spark和Flink都是分布式计算框架，可以在多台机器上运行，下面是它们的部署方式： Spark的部署方式： 1. Standalone模式：Spark自带的集群管理器，适合小规模的集群。 2. Hadoop YARN模式：在Hadoop集群上运行Spark作业，适合大规模的集群。 3. Apache Mesos模式：在Mesos集群上运行Spark作业，适合复杂的集群环境。 Flink的部署方式： 1. Standalone模式：Flink自带的集群管理器，适合小规模的集群。 2. YARN模式：在Hadoop集群上运行Flink作业，适合大规模的集群。 3. Mesos模式：在Mesos集群上运行Flink作业。 4. Kubernetes模式：在Kubernetes上运行Flink作业，适合云原生环境。 总之，Spark和Flink都具有良好的支持多种部署方式的特性，可以根据不同的场景选择最适合的方式进行部署。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值