Flink集群安装及使用

最新推荐文章于 2024-07-09 21:44:25 发布
最新推荐文章于 2024-07-09 21:44:25 发布
阅读量2.3k 收藏 10
点赞数 1
分类专栏： Flink 文章标签： Flink集群安装 Standalone模式 Standalone高可用 Standalone的HA模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beishanyingluo/article/details/107268586
版权

Flink支持多种安装模式

  • local（本地）——单机模式，一般不使用
  • standalone——独立模式，Flink自带集群，开发测试环境使用
  • yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用

1. 伪分布环境部署

在这里插入图片描述

  • Flink程序需要提交给Job Client
  • Job Client将作业提交给Job Manager
  • Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task Manager
  • Task Manager启动一个线程以开始执行。Task Manager会向Job Manager报告状态更改。例如开始执行，正在进行或已完成。
  • 作业执行完成后，结果将发送回客户端（Job Client）

环境准备:

  • 下载安装包 https://archive.apache.org/dist/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz

网盘链接：

  • 服务器: node01 (192.168.77.100)

安装步骤：

  1. 上传压缩包

  2. 解压

tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C /export/servers/
  1. 启动
cd /export/servers/flink-1.6.1
./bin/start-cluster.sh

使用JPS可以查看到下面两个进程

  • TaskManagerRunner

  • StandaloneSessionClusterEntrypoint

  1. 访问web界面
http://node01:8081

在这里插入图片描述

slot在flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。

  1. 运行测试任务
bin/flink run /export/servers/flink-1.6.1/examples/batch/WordCount.jar --input /export/servers/zookeeper-3.4.5-cdh5.14.0 --output /export/servers/flink_data

控制台输出:

Starting execution of program

Program execution finished

Job with JobID bb53dc79d510202e8abd95094791a32b has finished.

Job Runtime: 9539 ms

可能会出现的错误：

The program finished with the following exception:

org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: a2009aa7e3f1940582dbfecd7f32c7c1)
	at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:260)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:486)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:474)
	at org.apache.flink.client.program.ContextEnvironment.execute(ContextEnvironment.java:62)
	at org.apache.flink.examples.java.wordcount.WordCount.main(WordCount.java:85)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529)
	at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:421)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:426)
	at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:804)
	at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:280)
	at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:215)
	at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1044)
	at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1120)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754)
	at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
	at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1120)
Caused by: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph.
	at org.apache.flink.client.program.rest.RestClusterClient.lambda$submitJob$8(RestClusterClient.java:379)

这个问题是： 找不到输入的问题，请仔细检查！！

观察WebUI

在这里插入图片描述
在这里插入图片描述

2. Standalone模式集群安装部署

Standalone集群架构

在这里插入图片描述

  • client客户端提交任务给JobManager
  • JobManager负责Flink集群计算资源管理，并分发任务给TaskManager执行
  • TaskManager定期向JobManager汇报状态

环境准备:

  • 服务器: node01(Master + Slave)
  • 服务器: node02(Slave)
  • 服务器: node03(Slave)

安装步骤:

  1. 上传flink压缩包到指定目录

  2. 解压缩flink到/export/servers目录

    tar -xvzf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C /export/servers/

  3. 使用vi修改conf/flink-conf.yaml

    # jobManager 的IP地址
jobmanager.rpc.address: node01

# JobManager 的端口号
jobmanager.rpc.port: 6123

# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024

# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024

# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2

#是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false

# 程序默认并行计算的个数
parallelism.default: 1

#JobManager的Web界面的端口（默认：8081）
jobmanager.web.port: 8081

#配置每个taskmanager生成的临时文件目录（选配）
taskmanager.tmp.dirs: /export/servers/flink-1.6.1/tmp

    slot和parallelism总结

    taskmanager.numberOfTaskSlots:2

    每一个taskmanager中的分配2个TaskSlot,3个taskmanager一共有6个TaskSlot

    parallelism.default:1
    运行程序默认的并行度为1，6个TaskSlot只用了1个，有5个空闲

    1. slot是静态的概念，是指taskmanager具有的并发执行能力
    2. parallelism是动态的概念，是指程序运行时实际使用的并发能力

  4. 使用vi修改slaves文件

    node01
node02
node03

  5. 使用vi修改/etc/profile系统环境变量配置文件，添加HADOOP_CONF_DIR目录

    export HADOOP_CONF_DIR=/export/servers/hadoop-2.7.5/etc/hadoop

  6. 分发/etc/profile到其他两个节点

    scp -r /etc/profile node02:/etc
scp -r /etc/profile node03:/etc

  7. 每个节点重新加载环境变量

    source /etc/profile

  8. 使用scp命令分发flink到其他节点

    scp -r /export/servers/flink-1.6.1/ node02:/export/servers/
scp -r /export/servers/flink-1.6.1/ node03:/export/servers/

  9. 启动Flink集群

    ./bin/start-cluster.sh

    启动/停止flink集群

    • 启动：./bin/start-cluster.sh

    • 停止：./bin/stop-cluster.sh

    启动/停止jobmanager
    如果集群中的jobmanager进程挂了，执行下面命令启动

    • bin/jobmanager.sh start

    • bin/jobmanager.sh stop

    启动/停止taskmanager
    添加新的taskmanager节点或者重启taskmanager节点

    • bin/taskmanager.sh start
    • bin/taskmanager.sh stop

  10. 启动HDFS集群

    cd /export/servers/hadoop-2.7.5
sbin/start-dfs.sh

  11. 在HDFS中创建/test/input目录

    hdfs dfs -mkdir -p /test/input

  12. 上传wordcount.txt文件到HDFS /test/input目录

    hdfs dfs -put /export/servers/flink-1.6.1/README.txt /test/input

  13. 并运行测试任务

    bin/flink run /export/servers/flink-1.6.1/examples/batch/WordCount.jar --input hdfs://node01:8020/test/input/README.txt --output hdfs://node01:8020/test/output2/result.txt

  14. 浏览Flink Web UI界面

    http://node01:8081

3. Standalone高可用HA模式

从上述架构图中，可发现JobManager存在单点故障，一旦JobManager出现意外，整个集群无法工作。所以，为了确保集群的高可用，需要搭建Flink的HA。

HA架构图

在这里插入图片描述

环境准备:

  • 服务器: node01(Master + Slave)
  • 服务器: node02(Master + Slave)
  • 服务器: node03(Slave)

安装步骤

  1. 在flink-conf.yaml中添加zookeeper配置

    #开启HA，使用文件系统作为快照存储
state.backend: filesystem
#启用检查点，可以将快照保存到HDFS
state.backend.fs.checkpointdir: hdfs://node01:8020/flink-checkpoints
#使用zookeeper搭建高可用
high-availability: zookeeper
# 存储JobManager的元数据到HDFS
high-availability.storageDir: hdfs://node01:8020/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181

  2. 将配置过的HA的flink-conf.yaml分发到另外两个节点

    scp -r /export/servers/flink-1.6.1/conf/flink-conf.yaml node02:/export/servers/flink-1.6.1/conf/
scp -r /export/servers/flink-1.6.1/conf/flink-conf.yaml node03:/export/servers/flink-1.6.1/conf/

  3. 到节点2中修改flink-conf.yaml中的配置，将JobManager设置为自己节点的名称

    jobmanager.rpc.address: node02

  4. 在node01的masters配置文件中添加多个节点

    node01:8081
node02:8081

  5. 分发masters配置文件到另外两个节点

    scp /export/servers/flink-1.6.1/conf/masters node02:/export/servers/flink-1.6.1/conf/
scp /export/servers/flink-1.6.1/conf/masters node03:/export/servers/flink-1.6.1/conf/

  6. 启动zookeeper集群

  7. 启动HDFS集群

  8. 启动flink集群

  9. 分别查看两个节点的Flink Web UI

  10. kill掉一个节点，查看另外的一个节点的Web UI

注意事项

切记搭建HA，需要将第二个节点的jobmanager.rpc.address修改为node02

4. Yarn集群环境

在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在Yarn上面运行；flink on yarn的前提是：hdfs、yarn均启动

集群规划

JobManager: node01

WorkManager: node01 node02 node03

步骤

  1. 修改Hadoop的yarn-site.xml，添加该配置表示内存超过分配值，是否将任务杀掉。默认为true。

    运行Flink程序，很容易超过分配的内存。

    <property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

  2. 分发yarn-site.xml到其它服务器节点

    scp yarn-site.xml node02:$PWD
scp yarn-site.xml node03:$PWD

  3. 启动HDFS、YARN集群

    start-all.sh

5. yarn-session

Flink运行在YARN上，可以使用yarn-session来快速提交作业到YARN集群。我们先来看下Flink On Yarn模式，Flink是如何和Yarn进行交互的。

在这里插入图片描述

  1. 上传jar包和配置文件到HDFS集群上

  2. 申请资源和请求AppMaster容器

  3. Yarn分配资源AppMaster容器，并启动JobManager

    JobManager和ApplicationMaster运行在同一个container上。
一旦他们被成功启动，AppMaster就知道JobManager的地址（AM它自己所在的机器）。
它就会为TaskManager生成一个新的Flink配置文件（他们就可以连接到JobManager）。
这个配置文件也被上传到HDFS上。
此外，AppMaster容器也提供了Flink的web服务接口。
YARN所分配的所有端口都是临时端口，这允许用户并行执行多个Flink

  4. 申请worker资源，启动TaskManager

在这里插入图片描述

yarn-session提供两种模式: 会话模式和分离模式

6. 会话模式

  • 使用Flink中的yarn-session（yarn客户端），会启动两个必要服务JobManager和TaskManager
  • 客户端通过yarn-session提交作业
  • yarn-session会一直启动，不停地接收客户端提交的作用
  • 有大量的小作业，适合使用这种方式

在这里插入图片描述

使用步骤:

  1. 在flink目录启动yarn-session

    bin/yarn-session.sh -n 2 -tm 800 -s 1 -d

# -n 表示申请2个容器，
# -s 表示每个容器启动多少个slot
# -tm 表示每个TaskManager申请800M内存
# -d 表示以后台程序方式运行

yarn-session.sh脚本可以携带的参数:
   Required
     -n,--container <arg>               分配多少个yarn容器 (=taskmanager的数量)  
   Optional
     -D <arg>                        动态属性
     -d,--detached                    独立运行 （以分离模式运行作业）
     -id,--applicationId <arg>            YARN集群上的任务id，附着到一个后台运行的yarn session中
     -j,--jar <arg>                      Path to Flink jar file
     -jm,--jobManagerMemory <arg>     JobManager的内存 [in MB] 
     -m,--jobmanager <host:port>        指定需要连接的jobmanager(主节点)地址  
                                    使用这个参数可以指定一个不同于配置文件中的jobmanager  
     -n,--container <arg>               分配多少个yarn容器 (=taskmanager的数量) 
     -nm,--name <arg>                 在YARN上为一个自定义的应用设置一个名字
     -q,--query                        显示yarn中可用的资源 (内存, cpu核数) 
     -qu,--queue <arg>                 指定YARN队列
     -s,--slots <arg>                   每个TaskManager使用的slots数量
     -st,--streaming                   在流模式下启动Flink
     -tm,--taskManagerMemory <arg>    每个TaskManager的内存 [in MB] 
     -z,--zookeeperNamespace <arg>     针对HA模式在zookeeper上创建NameSpace

  2. 使用flink提交任务

    bin/flink run examples/batch/WordCount.jar

  3. 如果程序运行完了，可以使用yarn application -kill application_id杀掉任务

    yarn application -kill application_1554377097889_0002

7. 分离模式

  • 直接提交任务给YARN
  • 大作业，适合使用这种方式

在这里插入图片描述

  1. 使用flink直接提交任务

    bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar  

# -m  jobmanager的地址
# -yn 表示TaskManager的个数

  2. 查看WEB UI

北山璎珞
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-1.6.1-bin-hadoop27-scala_2.11.tgz
06-18
百度网盘 百度网盘 百度网盘 里面是flink-1.6.1-bin-hadoop27-scala_2.11.tgz文件
Flink（二）CentOS7.5搭建Flink1.6.1分布式集群
zzy7075的专栏
02-23 555
一.Flink的下载 安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载 [admin@node21 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz [admin@node21 software]$ ll -rw-rw-r--..
FlinkX安装与使用
最新发布
2403_83630621的博客
07-09 962
FlinkX是在袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。FlinkX是一个数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL ，binlog，Kafka等。
Flink-1.18.1环境搭建
骑猪喝咖啡
02-05 1664
home/postgres/flink/flink/bin/config.sh:行32: 未预期的符号 `<' 附近有语法错误 /home/postgres/flink/flink/bin/config.sh:行32: ` done < <(find "$FLINK_LIB_DIR"!不要用sh命令启动，因为这样看第三行报错：bin/config.sh: line 32: ` done < <(find "$FLINK_LIB_DIR"!第 32 行的语法在 sh 中是不支持的，会报语法错误；
flink集群模式安装配置
dixuwu3652的博客
08-30 257
一、手动下载安装包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz 二、解压 tar -zxvfflink-1.6.1-bin-hadoop27-scala_2.11.tgz 节点名称 master...
linux下安装flink 1.18集群
11-10 665
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。四、在flink下面创建logs，data，在data下面创建zk和tmp。五、修改 flink-conf.yaml配置文件。
Flink集群安装部署.txt
07-29
Flink集群安装部署,
Flink1.7.2集群安装.docx
04-23
注意，为了保证Flink集群的稳定运行，建议监控系统的资源使用情况，定期更新软件以修复安全漏洞，并优化配置以适应不断变化的工作负载。此外，如果你的集群需要与其他大数据组件（如Hive或Kafka）集成，还需要额外的...
flink集群搭建包.zip
06-14
启动Flink集群，可以使用bin目录下的`start-cluster.sh`脚本启动standalone模式，或者`start-yarn-session.sh`启动YARN模式。 对于开发者而言，理解Flink的数据模型（DataStream和DataSet）和API是非常关键的。...
linux下安装flink集群
02-20
接下来，我们将深入探讨如何在Linux系统上安装并配置Flink集群。 首先，确保你的Linux环境已经安装了Java开发套件（JDK），因为Flink运行需要Java环境。通常，我们需要安装JDK 8或更高版本。你可以通过以下命令检查...
Flink standalone 集群安装步骤-v1.6.1
10-22
Flink standalone集群安装步骤-V1.6.1 一主两从的Flink集群安装配置步骤
Flink学习（1）：Flink本地模式安装及简单试用
邢慧鹏的博客
12-01 1991
Flink 的本地模式安装及简单试用，基本参照官网教程进行。
flink安装
weixin_42022134的博客
10-27 310
flink安装 Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 这里是Standalone 模式 1.下载 官网链接:(https://flink.apache.org/downloads.html) 官网入门程序:(https://ci.apache.org/projects/flink/flink-docs-release-...
Flink cdc3
2401_84167086的博客
04-29 795
多次执行 start-cluster.sh 可以拉起多个 TaskManager，保证Total Task Slots >= 2, 不然提交任务会有资源不足异常，比如我这里执行了3次。，解压后得到 flink-1.18.0 目录。如果有安装这两个组件，就可以免去docker，接下来的教程将以 docker-compose 的方式准备所需要的组件。打开 Doris 的 Web UI，可以看到数据表已经被创建出来，数据能成功写入。Doris 暂时不支持自动创建数据库，需要先创建写入表对应的数据库。
Flink安装配置
weixin_44280043的博客
05-10 392
在file:/// 中，第一个斜杠 / 表示根目录，第二个斜杠 / 是用来分隔协议和路径部分的，第三个斜杠 / 是表示根目录下的一个目录。因此，file:/// 表示根目录下的一个目录，这种写法通常用于指定本地文件系统的路径。在文件路径中，file:/// 表示本地文件系统的协议前缀。在这种情况下，file:/// 是指定路径是基于本地文件系统的。但是，里面存放的大部分文件都是符号链接，指向目录/usr/lib/systemd/system/还可以在命令行查看flink任务。
Flink集群安装部署（Standalone，Yarn模式）
MJK祺的博客
05-19 1363
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。
10.Flink集群安装操作
HelloWowofei的博客
07-31 366
这种模式会预先在yarn或者或者k8s上启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉，那就得重启集群中的所有任务，这样就会给集群造成很大的负面影响。所以，为了确保集群的高可用，需要搭建Flink的HA。,只要设置了其中一个环境变量，就会被读取。此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。
Flink集群搭建
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-27 2010
Flink集群搭建
flink集群安装教程
亮亮同學的博客
04-13 3979
首先准备三台linux机器，一种一台作为JobManager,两台作为TaskManager 1、官方下载地址。选择需要的版本号 2、我选择的是最新版1.14.0，scala版本是2.12 最新版本 3、可以使用wget下载 wget https://www.apache.org/dyn/closer.lua/flink/flink-1.14.4/flink-1.14.4-bin-scala_2.12.tgz 4、文件放在 /usr/local/目录下面 5、解压命令 tar -zxvf flink-1.
flink的集群安装
07-27
Flink的集群安装可以分为以下几个步骤： ...根据你的需求，选择合适的版本进行下载。...请注意，上述步骤仅适用于本地集群安装，如果你想在分布式环境中安装Flink集群，则需要进行更复杂的配置和设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值