大数据基础设施搭建 - Flink(1)，2024大数据开发高级面试题及答案

2.3 修改masters文件

[hadoop@hadoop102 conf]$ vim masters

修改内容：

hadoop102:8081

2.4 分发配置文件

[hadoop@hadoop102 module]$ mytools_rsync flink-1.17.0/

2.5 修改其他两台机器的配置文件flink-conf.yaml

执行命令：

[hadoop@hadoop103 conf]$ vim flink-conf.yaml

修改内容：

# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop103

执行命令：

[hadoop@hadoop104 conf]$ vim flink-conf.yaml

修改内容：

# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop104

三、启动关闭集群（Standalone模式）

在hadoop102节点服务器上执行start-cluster.sh启动Flink集群

# 启动
[hadoop@hadoop102 flink-1.17.0]$ bin/start-cluster.sh
# 关闭
[hadoop@hadoop102 flink-1.17.0]$ bin/stop-cluster.sh

四、访问WEB-UI

启动成功后，同样可以访问http://hadoop102:8081对flink集群和任务进行监控管理。

五、向集群提交作业（会话模式部署）

5.1 WEB-UI方式提交

5.2 命令行方式提交

bin/flink run -m hadoop102:8081 -c com.atguigu.flink01.Flink03_WC_Unbound_Socket ./flink-0918-1.0-SNAPSHOT.jar

六、Flink集群运行模式

Flink集群的运行模式

6.1 Standalone模式

默认

6.2 Flink on Yarn模式

6.2.1 相关准备和配置（配置环境变量并分发）

[hadoop@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

新增内容：

#Flink on Yarn
export HADOOP\_CONF\_DIR=${HADOOP\_HOME}/etc/hadoop
export HADOOP\_CLASSPATH=`hadoop classpath`

其他两台机器同样新增该环境变量

使环境变量生效：

[hadoop@hadoop102 ~]$ mytools_call source /etc/profile

6.2.2 以会话模式在Flink on Yarn集群上部署Flink应用程序

YARN的会话模式与独立集群略有不同，需要首先申请一个YARN会话（YARN Session）来启动Flink集群
-nm（–name）：配置在YARN UI界面上显示的任务名。

（1）启动关闭Flink集群

# 启动
[hadoop@hadoop102 flink-1.17.0]$ bin/yarn-session.sh -nm flink-session-cluster01
# 关闭
[hadoop@hadoop102 ~]$ yarn application -kill application_1700281106461_0453

（2）提交作业（WEB-UI方式）

部署到阿里云的这里IP有点问题，跳转到Flink WEB-UI时是内网IP

（3）提交作业（命令行方式）

[hadoop@hadoop102 flink-1.17.0]$ bin/flink run -c com.atguigu.flink01.Flink03_WC_Unbound_Socket ./flink-0918-1.0-SNAPSHOT.jar

6.2.3 以单作业模式在Flink on Yarn集群上部署Flink应用程序

启动一个Flink集群并提交作业

-d：后台运行
-t：指定部署模式（单作业模式）

# 启动
[hadoop@hadoop102 flink-1.17.0]$ bin/flink run -d -t yarn-per-job -c com.atguigu.flink01.Flink03_WC_Unbound_Socket ./flink-0918-1.0-SNAPSHOT.jar
# 关闭（通过WEB UI页面cancel作业）

6.2.4 以应用模式在Flink on Yarn集群上部署Flink应用程序

（1）启动

应用模式同样非常简单，与单作业模式类似，直接执行flink run-application命令即可

-d：后台运行
-t：指定部署模式（应用模式）

[hadoop@hadoop102 flink-1.17.0]$ bin/flink run-application -d -t yarn-application -c com.atguigu.flink01.Flink03_WC_Unbound_Socket ./flink-0918-1.0-SNAPSHOT.jar

（2）上传Flink的lib和plugins到HDFS上

将Flink应用程序用到Flink集群中的lib上传到Hadoop集群上。

[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -mkdir /flink-dist
[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -put lib/ /flink-dist
[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -put plugins/ /flink-dist

（3）上传Flink应用程序jar到HDFS上

[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -mkdir /flink-jars
[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -put ./flink-0918-1.0-SNAPSHOT.jar /flink-jars

（4）提交作业

[hadoop@hadoop102 flink-1.17.0]$ bin/flink run-application -d -t yarn-application -Dyarn.provided.lib.dirs="hdfs://hadoop102:9820/flink-dist" -c com.atguigu.flink01.Flink03_WC_Unbound_Socket hdfs://hadoop102:9820/flink-jars/flink-0918-1.0-SNAPSHOT.jar

6.2.5 应用模式与单作业模式的区别

单作业模式：客户端需要执行main方法，将JobGraph提交给YARN上的JobManager。
应用模式：应用程序jar的main()方法将在YARN中的JobManager上执行。客户端仅仅是执行命令。

6.3 配置Flink历史服务器

6.3.1 创建存储目录

[hadoop@hadoop102 flink-1.17.0]$ hadoop fs -mkdir -p /logs/flink-job

6.3.2 修改配置文件flink-config.yaml

[hadoop@hadoop102 conf]$ vim flink-conf.yaml

新增内容：

找到historyserver部分（在最后），添加到该位置即可。

jobmanager.archive.fs.dir: hdfs://hadoop102:9820/logs/flink-job
historyserver.web.address: hadoop102
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://hadoop102:9820/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000

6.3.3 启动停止历史服务器

# 启动
[hadoop@hadoop102 flink-1.17.0]$ bin/historyserver.sh start
# 停止
[hadoop@hadoop102 flink-1.17.0]$ bin/historyserver.sh stop


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/ee8e92814c2b870ce43dcde92d6d567a.png)
![img](https://img-blog.csdnimg.cn/img_convert/2b0d83910b771dafb63564f96221570d.png)
![img](https://img-blog.csdnimg.cn/img_convert/45fc9fc2bc0a9729c5918e2dafd70509.png)
![img](https://img-blog.csdnimg.cn/img_convert/11e9a2229d995e9e94e518d8010f7f6f.png)
![img](https://img-blog.csdnimg.cn/img_convert/da46869bba1f157ab8cfb246ba4cd140.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/105d3db477553fb2c7ac17b826c313f9.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

1298320)]
[外链图片转存中...(img-41fNi4Zz-1713021298320)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-zbEwxHsX-1713021298320)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**