【flink】flink集群的搭建

一、Flink支持多种安装模式。

• local（本地）——单机模式，一般不使用
• standalone——独立模式，Flink自带集群，开发测试环境使用
• yarn——计算资源统一由Hadoop YARN管理，生产环境测试

二、Standalone模式

步骤

1. 解压flink压缩包到指定目录
2. 配置flink
3. 配置slaves节点
4. 分发flink到各个节点
5. 启动集群
6. 提交WordCount程序测试
7. 查看Flink WebUI

具体操作

1. 上传flink压缩包到指定目录
2. 解压缩flink到 /export/servers 目录

tar -xvzf flink-1.6.0-bin-hadoop26-scala_2.11.tgz -C /export/servers

3. 使用vi修改 conf/flink-conf.yaml

 # 配置Master的机器名（IP地址）
jobmanager.rpc.address: node-1 
 # 配置每个taskmanager生成的临时文件夹 
taskmanager.tmp.dirs: /export/servers/flink-1.6.0/tmp

4. 使用vi修改slaves文件

had-node-2 
had-node-3 
had-node-4

5. 使用vi修改 /etc/profile 系统环境变量配置文件，添加HADOOP_CONF_DIR目录

export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

6. 分发/etc/profile到其他两个节点

scp -r /etc/profile node-2:/etc 
scp -r /etc/profile node-3:/etc

7. 每个节点重新加载环境变量

source /etc/profile

8. 使用scp命令分发flink到其他节点