介绍
Flink提供了多种部署方式,本文只介绍三种常用方式,local、standalone、yarn。
安装前准备
Java8以上(必备基础环境)
Zookeeper(HA高可用需要环境)
Hadoop(YARN模式需要环境)
三台Linux机器
Flink安装包flink-1.10.0-bin-scala_2.11.tgz 官方下载地址
Flink Hadoop依赖包flink-shaded(yarn-session.sh运行需要,如果官方没有提供对应Hadoop和Flink版本依赖包,需自行下载shaded源码编译打包) 官方下载地址
Local模式
Local Cluster模式是开箱即用的,直接解压安装包,然后启动即可。
//解压
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz
//进入bin目录运行启动脚本
./start-cluster.sh
打开浏览器输入http://IP:8081,查看WEBUI监控界面
Standalone模式
Stanalone CLuster是一种独立的集群模式,集群运行不需要依赖外部系统,完全自己独立进行管理。
三台机器部署情况:
节点 | 服务 |
---|---|
节点一 | master |
节点二 | worker |
节点三 | worker |
1、解压安装包
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz
2、修改配置文件,conf目录下
flink-conf.yaml文件
## jobmanag