一、Flink支持多种安装模式。
- local(本地)——单机模式,一般不使用
- standalone——独立模式,Flink自带集群,开发测试环境使用
- yarn——计算资源统一由Hadoop YARN管理,生产环境测试
二、Standalone模式
步骤
- 解压flink压缩包到指定目录
- 配置flink
- 配置slaves节点
- 分发flink到各个节点
- 启动集群
- 提交WordCount程序测试
- 查看Flink WebUI
具体操作
- 上传flink压缩包到指定目录
- 解压缩flink到
/export/servers
目录
tar -xvzf flink-1.6.0-bin-hadoop26-scala_2.11.tgz -C /export/servers
- 使用vi修改
conf/flink-conf.yaml
# 配置Master的机器名(IP地址)
jobmanager.rpc.address: node-1
# 配置每个taskmanager生成的临时文件夹
taskmanager.tmp.dirs: /export/servers/flink-1.6.0/tmp
- 使用vi修改
slaves
文件
had-node-2
had-node-3
had-node-4
- 使用vi修改
/etc/profile
系统环境变量配置文件,添加HADOOP_CONF_DIR
目录
export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
- 分发
/etc/profile
到其他两个节点
scp -r /etc/profile node-2:/etc
scp -r /etc/profile node-3:/etc
- 每个节点重新加载环境变量
source /etc/profile
- 使用scp命令分发flink到其他节点