Flink1.13.2三种方式安装部署

已于 2023-07-28 10:51:46 修改
阅读量9.4k 收藏 93
点赞数 42
分类专栏： Flink 文章标签： big data flink
于 2021-09-22 11:49:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38201936/article/details/120412395
版权

大家好，我是土哥。

今天，有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。

以下教程全部使用 Flink1.13.2版本，在普通用户下面部署：

1、Standalone部署

版本要求：

版本节点部署方式
flink-1.13.2-bin-scala_2.11.tgz192.168.244.129standalone

1.1 将软件安装包放入集群中

1.2、软件包解压

tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

1.3、 配置系统环境变量

# 1、进入目录下
cd flink-1.13.2/

# 2、查看完整classpsth，然后复制
pwd 

# 3、编辑系统变量
sudo  vim  /etc/profile

#4、配置变量环境
export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
export PATH=$PATH:$FLINK_HOME/bin

#5 刷新系统变量环境
source /etc/profile

#6 查看是否配置成功
$FLINK_HOME

1.4、配置Flink conf文件

进入到flink-1.13.2/conf目录下

1.4.1 配置flink-conf.yaml

#1. 配置jobmanager rpc 地址
jobmanager.rpc.address: 192.168.244.129

#2. 修改taskmanager内存大小，可改可不改
taskmanager.memory.process.size: 2048m

#3. 修改一个taskmanager中对于的taskslot个数，可改可不改
taskmanager.numberOfTaskSlots: 4

#修改并行度，可改可不改
parallelism.default: 4

1.4.2 配置master

#修改主节点ip地址
192.168.244.129:8081

1.4.3 配置work

#修改从节点ip，因为是standalone，所有主从一样
192.168.244.129

1.4.4 配置zoo

# 新建snapshot存放的目录，在flink-1.13.2目录下建
mkdir tmp
cd tmp
mkdir zookeeper

#修改conf下zoo.cfg配置
vim zoo.cfg

#snapshot存放的目录
dataDir=/home/liyaozhou/lyz/flink-1.13.2/tmp/zookeeper

#配置zookeeper 地址
server.1=192.168.244.129:2888:3888

1.5、启动Flink 集群

进入flink-1.13.2/bin目录下

./start-cluster.sh

2、Standalone-HA集群部署

集群部署两节点

版本主节点从节点部署方式
flink-1.13.2-bin-scala_2.11.tgz192.168.244.129192.168.244.130standalone-HA
hadoop 2.6.4192.168.244.129192.168.244.130Distributed
zookeeper3.4.14192.168.244.129192.168.244.130Distributed

前提是zookeeper 和 hadoop 集群全部配置好

2.1、 将软件安装包放入集群中

2.2、软件包解压

tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

2.3、 配置系统环境变量

# 1、进入目录下
cd flink-1.13.2/

# 2、查看完整classpsth，然后复制
pwd 

# 3、编辑系统变量
sudo  vim  /etc/profile

#4、配置变量环境
export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
export PATH=$PATH:$FLINK_HOME/bin

#5、添加hadoop_conf classpath
export HADOOP_CONF_DIR=/home/liyaozhou/lyz/hadoop-2.6.4/etc/hadoop

#6 刷新系统变量环境
source /etc/profile

#7 查看是否配置成功
$FLINK_HOME

2.4、配置Flink conf文件

进入到flink-1.13.2/conf目录下

2.4.1 配置flink-conf.yaml

#1. 配置jobmanager rpc 地址
jobmanager.rpc.address: 192.168.244.129

#2. 修改taskmanager内存大小，可改可不改
taskmanager.memory.process.size: 2048m

#3. 修改一个taskmanager中对于的taskslot个数，可改可不改
taskmanager.numberOfTaskSlots: 4

#4. 修改并行度，可改可不改
parallelism.default: 4

#5. 配置状态后端存储方式
state.backend:filesystem

#6. 配置启用检查点，可以将快照保存到HDFS
state.backend.fs.checkpointdir: hdfs://192.168.244.129:9000/flink-checkpoints
#7. 配置保存点，可以将快照保存到HDFS
state.savepoints.dir: hdfs://192.168.244.129:9000/flink-savepoints

#8. 使用zookeeper搭建高可用
high-availability: zookeeper

#9. 配置ZK集群地址
high-availability.zookeeper.quorum: 192.168.244.129:2181

#10. 存储JobManager的元数据到HDFS
high-availability.storageDir: hdfs://192.168.244.129:9000/flink/ha/

#11. 配置zookeeper client默认是 open，如果 zookeeper security 启用了更改成 creator
high-availability.zookeeper.client.acl: open

2.4.2 配置master

#修改主节点ip地址
192.168.244.129:8081

2.4.3 配置work

#修改从节点ip，因为是standalone-ha，改另一个节点
192.168.244.130

2.4.4 配置zoo

# 新建snapshot存放的目录，在flink-1.13.2目录下建
mkdir tmp
cd tmp
mkdir zookeeper

#修改conf下zoo.cfg配置
vim zoo.cfg

#snapshot存放的目录
dataDir=/home/liyaozhou/lyz/flink-1.13.2/tmp/zookeeper

#配置zookeeper 地址
server.1=192.168.244.129:2888:3888

2.5、下载hadoop依赖包

下载地址：https://flink.apache.org/downloads.html#additional-components

将包复制到flink-1.13.2/lib目录下

2.6、 文件传输

将主节点flink包复制到从节点
scp -r flink-1.13.2 192.168.244.130:/home/liyaozhou/lyz/

修改从节点 flink-conf.yaml rpc 的ip地址

2.7、启动Flink 集群

进入flink-1.13.2/bin目录下

./start-cluster.sh

可以在登录界面看到，TaskManager的地址为192.168.244.130

3、Flink On Yarn集群部署

集群部署两节点

版本主节点从节点部署方式
flink-1.13.2-bin-scala_2.11.tgz192.168.244.129192.168.244.130yarn
hadoop 2.6.4192.168.244.129192.168.244.130Distributed
zookeeper3.4.14192.168.244.129192.168.244.130Distributed

前提是zookeeper 和 hadoop 集群全部配置好

3.1 修改Hadoop集群的yarn-site.xml文件

YARN模式下的HA需要注意一点，官方给出建议，必须要增加以下两项配置：
YARN配置，修改yarn-site.xml

<!-- master（JobManager）失败重启的最大尝试次数-->
<property>
  <name>yarn.resourcemanager.am.max-attempts</name>
  <value>4</value>
  <description>
    The maximum number of application master execution attempts.
  </description>
</property>

<!-- 关闭yarn内存检查 -->
<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认为 true -->
<!-- 因为对于 flink 使用 yarn 模式下，很容易内存超标，这个时候 yarn 会自动杀掉 job，因此需要关掉-->

<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

3.2 修改flink conf配置

在flink-conf.yaml中添加如下两项：


#用户提交作业失败时，重新执行次数
yarn.application-attempts: 4

#设置Task在所有节点平均分配
cluster.evenly-spread-out-slots: true

3.3 启动测试（Session模式）

3.3.1 启动 Flink 会话（在192.168.244.129上测试）

# 主节点中执行
bin/yarn-session.sh -d -jm 1024 -tm 1024 -s 1

# -tm 表示每个 TaskManager 的内存大小
# -s 表示每个 TaskManager 的 slots 数量
# -d 表示以后台程序方式运行

3.3.2 登录yarn集群页面查看

登录网址：192.168.244.129:8088/cluster

3.3.3 在yarn上提交任务 通过session模式

注意：此时提交的任务都通过该会话（Session）执行，不会再申请 yarn 资源

（1）创建一个wordcount.txt文本，随便早一些数据，然后放到flink-1.13.2下面，然后将该文件传到hdfs中

hadoop  fs  -copyFromLocal  wordcount.txt  /

（2）提交任务

# 192.168.244.129 中执行即可
bin/flink run examples/batch/WordCount.jar --input hdfs://192.168.244.129:9000/wordcount.txt

3.3.3 查看 Hadoop 的 ApplicationManager 的 WEB-UI 页面

3.3.4 关闭Session模式

yarn application -kill application_1631862788541_0001

3.4 启动测试（Per-job模式）在这里插入图片描述

3.4.1 直接提交 Job

bin/flink run \
-t yarn-per-job   \
--detached  examples/batch/WordCount.jar  \
--input hdfs://192.168.244.129:9000/wordcount.txt

土哥的升级服务

如果你因为找工作而烦恼，不会做简历，不会备战复习，不会面试技巧，不会 HR 面，不会谈薪，不用怕，有土哥。

土哥社招参加 28 场面试，100% 通过率，拿到全部 offer！
http://mp.weixin.qq.com/s?__biz=Mzg5NDY3NzIwMA==&mid=2247511408&idx=1&sn=beb292ab97ada3ee486511bfe503117d&chksm=c01914cff76e9dd90fd81857805a57aadcf4fa0a3ce731e5939d8651ed9bac561dba6bb7e03a&scene=21#wechat_redirect

土哥这半年的悲惨人生，经历过被鸽 offer,最终触底反弹~
http://mp.weixin.qq.com/s?__biz=Mzg5NDY3NzIwMA==&mid=2247510455&idx=1&sn=9cccfbebca3d2ee9d72538d73dd6fe74&chksm=c0191008f76e991e1760857f7c8a75deb1e0231ce8ba189eaf280c84e8a5e65f7f0197988ff1&scene=21#wechat_redirect

可以找土哥修改简历，1 对 1 辅导项目、面试技巧，HR 面以及谈薪等，同时发你总结的最新面经试题（有偿哈），具体私信土哥（V：youzhiqiangshou_02）。备注：简历修改+面试辅导

毕竟免费的东西，不仅你不会上心，土哥也没有多大精力认真去修改和辅导。

当然，想进群的也可以关住wx公众号【3分钟秒懂大数据】进大数据交流群~

3分钟秒懂大数据
关注
  • 42
    点赞
  • 踩
  • 93
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
订阅专栏
flink三种部署模式
u011624157的专栏
08-11 5736
部署模式 flink可以通过以下三种模式部署： Session Mode Per-Job Mode Application Mode 以上方式主要区别在于 集群生命周期和资源隔离保证 应用程序的main方法是在客户端还是在集群上执行。 Session Mode(会话模式) 会话模式假定存在已经在运行的集群，并使用该集群的资源来执行任何提交的应用程序。在同一（会话）集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是，您不必为每个提交的作业都创建集群。但是，如果其中一项作业行为不当或关闭了ta
【Flink基础】-- Flink 1.13.2版本发布
欢迎来到我的博客，一起探索代码里的世界！
10-18 566
Apache Flink 社区在 2021.08.05日发布了 Apache Flink 1.13 系列的第二个修复错误的版本。 此版本包括 127 个修复和小改进。以下的列表包括修正错误和改进。有关所有更改的完整列表，请参考：Error - ASF JIRA。 下面来看看部分更新内容： [FLINK-21445] 修复了应用程序模式在构建 PackagedProgram 时不设置配置的问题 [FLINK-22443] 修复了无法在批处理模式下执行极长的 sql的问题 ...
Flink集群安装部署（Standalone，Yarn模式）
MJK祺的博客
05-19 1303
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。
【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式
weixin_53543905的博客
01-16 1932
YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会 向 Yarn 的 NodeManager 申 请 容 器 。 在 这 些 容 器 上 ， Flink 会 部 署 JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。
2024年最全01-Flink安装部署及入门案例（仅供学习）
最新发布
2401_84166327的博客
05-03 966
转换二元组：(spark, 1) (flink, 1) (spark, 1)， TODO：Flink Java API中提供元组类Tuple。-m：指定需要连接的jobmanager(主节点)地址，指定为 yarn-cluster，启动一个新的yarn-session。分组：spark -> [(spark, 1), (spark, 1)] flink -> [(flink, 1)]上传软件包：flink-1.13.1-bin-scala_2.11.tgz。-jm：JobManager的内存（单位MB)
Flink学习之旅：（一）Flink部署安装
小健的博客
10-18 1919
进入Flink官网，点击Downloads往下滑动就可以看到 Flink 的所有版本了，看自己需要什么版本点击下载即可。
FlinkJob提交和参数配置
互联网知识分享
08-02 1781
提交和参数配置的理论解释、标题序号分点说明以及完整的代码案例。的参数配置主要包括并行度、时间特性、重启策略等。的重启策略为固定延迟重启策略，最大重启次数为。在实际运行时，可以通过命令行工具。的调度中心，负责接收和处理。图进行任务的调度和执行。网络缓冲区的大小，默认为。网络缓冲区的大小，默认为。可用的任务槽数量，默认为。的地址和端口号，以便与。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。
Flink Configuration 配置文件的配置
半吊子Kyle的博客
05-02 9847
Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup ｜ 默认配置 引流：FLINK 的命令 FLINK 的配置 Flink执行说明 对 FLINK 的运行命令做完整的介绍 参考文章： Flink Configuration - flink-conf.yaml 中的配置 Flink Memory Configuration - 内存配置 Flink Command-Line - 命令行中的配置 Flink Config
Flink集群安装和部署之Standalone模式
chbxw
06-21 4341
  Standalone是Flink 的独立部署模式，它不依赖其他平台。在使用这种模式搭建 Flink集群之前，需要先规划集群机器信息。在这里为了搭建一个标准的Flink集群，需要准备3台机器，如图下所示。 一、安装部署Standalone模式 1.1、修改配置文件 1.1.1、修改flink-conf.yaml 修改JobManager的主机名 jobmanager.rpc.address: hdp0-179014 1.1.1.1、防止web端口冲突 # 防止web端口冲突 jobmanager.w
3. Flink的部署
Leeyehong_self的专栏
03-21 1447
1. Flink的部署模式 1.1 本地模式 1.1.1 介绍 1）包含: linux环境 windows环境或mac os环境 2）适用场景: 开发阶段，通过本地模式验证程序的正确性 1.1.2 效果演示 1.1.2.1 配置flink_home [robin@node01 module]$ sudo vi /etc/profile export FLINK_HOME=/op...
flink1.13.2集成cdh重新编译包.txt
08-18
flink1.13.2集成cdh重新编译包.txt
flink安装文件，详细
05-21
flink相关文档
flink-1.13.2-bin-scala_2.12.tgz
10-24
flink安装包
flink1.13.2集成到cdh集群安装包
08-18
包含flink1.13.2针对cdh6.2-6.4版本的编译包 parcel,parcel.sha manifect.json FLINK_ON_YARN.下载后可直接添加到cdh集群中
flink介绍及安装部署
02-07
包括fink简介，fink安装部署等。
FLINK-1.13.2-BIN-SCALA-2.11.tar
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的FLINK-1.13.2-BIN-SCALA_2.11.tar资源包，已验证可以使用，是本人制作parcel的时候的成品,包里面包括了已经做好的parcel制品，其中包括FLINK-1.13.2-BIN-SCALA_...
Flink集群搭建
难得糊涂
03-05 7240
序言 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。（这句话很重要，资源计算，资源的分配不是Flink当前强项cuiyaonan2000@163.com） 它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。-----------------------Flink推荐YARN，K8S，Mesos的资源管理器，同时自己也提供自己的资源管理器 Flink的集群环境根据有三种形式：
Flink部署
上白书妖
01-27 1433
前言 大家好, 我是上白书妖! 知识源于积累,登峰造极源于自律 今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 Flink部署 (两种模式 ) 一 . Standalone模式 (Flink自带的)   ① 安装          解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz(如果你两个模式都想试一下就这个压缩包,实际上你要真正搭
关于在Flink上多次提交任务导致OOM
weixin_40393421的博客
06-16 2333
最近在开发Flink任务过程当中发现了一个比较奇怪的问题，在Flink上多次提交任务后会出现一个OOM的异常，意思是Flink的内存已经满了，无法再提交新的任务。如下： 其中有这么一句： 该异常确实是多次提交任务后出现的，不禁让人怀疑： 为了验证这个怀疑，就不得不先了解Flink的类加载机制。在Flink中，有两种类加载机制：因为Flink是基于JVM的，所以先回顾下JVM的类加载机制在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加
flink 1.13.2 环境
07-28
Flink 1.13.2 是 Apache Flink 的一个版本，它是一个开源的流处理框架，用于大规模数据流处理和批处理。要搭建 Flink 1.13.2 环境，你可以按照以下步骤进行操作： 1. 确保你的系统满足以下要求： - Java 8 或更高版本 - 内存大小符合你的应用需求 - 磁盘空间用于存储 Flink 的日志和数据 2. 下载 Flink 1.13.2 发行版，你可以从 Apache Flink 的官方网站或镜像站点下载。下载地址：https://flink.apache.org/downloads.html 3. 解压下载的发行版压缩包到你选择的目录，例如： ```bash tar -xzf flink-1.13.2-bin-scala_2.11.tgz ``` 4. 进入解压后的目录： ```bash cd flink-1.13.2 ``` 5. 配置 Flink，打开 `conf/flink-conf.yaml` 文件进行编辑，根据你的需求进行配置，如设置并发度、任务管理器内存等。 6. 启动 Flink 集群，执行以下命令： ```bash ./bin/start-cluster.sh ``` 7. 在浏览器中访问 Flink Web UI，默认地址为 `http://localhost:8081`，可以查看 Flink 集群的状态和监控信息。 现在你已经成功搭建了 Flink 1.13.2 的环境，可以开始编写和提交 Flink 作业了。希望这些步骤能对你有所帮助！如果你还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3分钟秒懂大数据

你的打赏就是对我最大的鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值