二 Flink的部署

最新推荐文章于 2024-07-24 11:58:44 发布

andyonlines

最新推荐文章于 2024-07-24 11:58:44 发布

阅读量197

点赞数

分类专栏： Flink学习笔记文章标签： flink 大数据

本文链接：https://blog.csdn.net/andyonlines/article/details/107776215

版权

本文详细介绍了Apache Flink的部署步骤，包括单机模式、standalone集群模式和YARN模式的配置与启动。在单机模式下，通过修改配置文件并启动集群来运行任务。standalone集群模式需要配置flink-conf.yaml和slaves文件，并启动集群。对于YARN模式，介绍了session和job两种模式的任务提交方式，涉及hadoop依赖包的添加及使用flink run命令运行任务。

摘要由CSDN通过智能技术生成

文章目录

1 单机模式
- 1.1 在命令行提交任务
- 1.2 配置taskslot num
2 配置standalone集群模式
3 yarn 模式(session 模式和job模式)

1 单机模式

1. 下载flink
可以导官网上下载: https://flink.apache.org/

2.解压到linux的一个文件夹下

3.然后执行flink/bin目录下的start-cluster.sh

./bin/start-cluster.sh

通过Web UI去查看flink和提交任务

http://localhost:8081

1.1 在命令行提交任务

./bin/flink run 打包好的 JAR 包的绝对路径

./bin/flink run -c 需要运行程序的主类所在包 -p Parallelism jar包的绝对路径 --host localhost --port 7777

./bin/flink run -c com.wc.WordCount -p 1 /num/target/World.jar --host xiaoai08 --port 7777