Flink第三章Flink集群搭建

Flink集群搭建

Flink 支持多种安装模式。

1. local（ 本地） ——单机模式， 一般不使用
2. standalone ——独立模式， Flink 自带集群，开发测试环境使用
3. yarn——计算资源统一由 Hadoop YARN
   3.1 standalone 集群环境
   3.1.1 准备工作
4. jdk1.8 及以上【 配置 JAVA_HOME 环境变量】
5. ssh 免密码登录【 集群内节点之间免密登录】
   3.1.2 下载安装包 https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scal a_2.11.tgz
   3.1.3 集群规划
   master(JobManager)+slave/worker(TaskManager) node01(master+slave) node02(slave) node03(slave)
   3.1.4 步骤
6. 解压 Flink 压缩包到指定目录
7. 配置 Flink
8. 配置 Slaves 节点
9. 分发 Flink 到各个节点
10. 启动集群
11. 递交 wordcount 程序测试
12. 查看 Flink WebUI
    3.1.5具体操作
    1）上传 Flink 压缩包到指定目录
13. 解压缩 flink 到 /export/servers 目录

tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz

3. 修改安装目录下 conf 文件夹内的 flink-conf.yaml 配置文件， 指定 JobManager

配置 Master 的机器名（ IP 地址）
jobmanager.rpc.address: node01
配置每个 taskmanager 生成的临时文件夹
taskmanager.tmp.dirs: /export/servers/flink-1.7.2/tmp

4. 修改安装目录下 conf 文件夹内的 slave 配置文件， 指定 TaskManager

node01 node02 node03

5. 使用 vi 修改 /etc/profile 系统环境变量配置文件，添加
   HADOOP_CONF_DIR 目录

export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

6. 分发/etc/profile 到其他两个节点

scp -r /etc/profile node02:/etc
scp -r /etc/profile node03:/etc

7. 每个节点重新加载环境变量

source /etc/profile

8. 将配置好的 Flink 目录分发给其他的两台节点

for i in {2…3}; do scp -r flink-1.7.2/ node0$i:$PWD; done

9. 启动 Flink 集群

bin/start-cluster.sh

10. 通过 jps 查看进程信息

--------------------- node01 ----------------
86583 Jps
85963 StandaloneSessionClusterEntrypoint
86446 TaskManagerRunner
--------------------- node02 ----------------
44099 Jps
43819 TaskManagerRunner
--------------------- node03 ----------------
29461 TaskManagerRunner
29678 Jps

基础配置

# jobManager 的 IP 地址 jobmanager.rpc.address: localhost 
# JobManager 的端⼝号 jobmanager.rpc.port: 6123