flink安装模式
- Local,本地模式安装
- Standalone,独立集群部署模式
- Yarn,Hadoop集群部署模式
- K8s,基于docker镜像部署
- Ambari等
本课主要讲解本地模式和standalone模式
安装前准备
Java8以上(必备基础环境)
三台Linux机器
Flink安装包flink-1.10.0-bin-scala_2.11.tgz 官方下载地址
本地安装模式
Local Cluster模式是开箱即用的,直接解压安装包直接启动。
//解压
tar -zxvf flink-1.12.2-bin-scala_2.11.tgz
//进入bin目录运行启动脚本
./start-cluster.sh
Standalone部署模式
Stanalone CLuster是一种独立的集群模式,不需要依赖外部系统,完全自己独立进行管理。
节点1 | master | webui、dispacher、jobManager,resourceManager |
节点2 | worker | taskManagr、jobManager |
节点3 | worker | taskManagr、jobManager |
1、解压压缩包
2、修改配置文件,conf目录下
2、修改配置文件,conf目录下
flink-conf.yaml文件
## jobmanager节点地址,也是master节点地址
jobmanager.rpc.address: tod1
其他使用默认配置,其中有一些HA高可用、容错、安全、HistoryServer相关配置,按需进行配置即可,HistoryServer需单独运行启动脚本来启动服务。
修改masters文件
vim masters
//添加
tod1:8081
修改slaves文件
vim slaves
//添加
tod2
tod3
3、将安装目录复制到另外两台节点
通过scp命令。例如:scp -r flink-1.10.0 tod2:/home/flink/
4、启动集群
start-cluster.sh
5、测试,打开浏览器输入http://tod1:8081