Flink_集群搭建

Flink 支持多种安装模式。

1. local（ 本地） ——单机模式， 一般不使用
2. standalone ——独立模式， Flink 自带集群，开发测试环境使用
3. yarn——计算资源统一由 Hadoop YARN 管理，生产环境测试

3.1 standalone 集群环境

3.1.1 准备工作

1. jdk1.8 及以上【 配置 JAVA_HOME 环境变量】
2. ssh 免密码登录【 集群内节点之间免密登录】

3.1.2 下载安装包

https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scal a_2.11.tgz

3.1.3 集群规划

master(JobManager)+slave/worker(TaskManager)
node01(master+slave) node02(slave) node03(slave)

3.1.4 步骤

1. 解压 Flink 压缩包到指定目录
2. 配置 Flink
3. 配置 Slaves 节点
4. 分发 Flink 到各个节点
5. 启动集群
6. 递交 wordcount 程序测试
7. 查看 Flink WebUI

3.1.5具体操作

1）上传 Flink 压缩包到指定目录
2) 解压缩 flink 到 /export/servers 目录 tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz

3. 修改安装目录下 conf 文件夹内的 flink-conf.yaml 配置文件， 指定 JobManager

[root@node01 conf]# vim flink-conf.yaml

#配置 Master 的机器名（ IP 地址）
 jobmanager.rpc.address: node01 
#配置每个 taskmanager 生成的临时文件夹 
 taskmanager.tmp.dirs: /export/servers/flink-1.7.2/tmp 

4) 修改安装目录下 conf 文件夹内的 slave 配置文件， 指定 TaskManager

node01 
node02 
node03 

5) 使用 vi 修改 /etc/profile 系统环境变量配置文件，添加 HADOOP_CONF_DIR 目录

[root@node01 conf]# vim /etc/profile
export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 

6) 分发/etc/profile 到其他两个节点

scp -r /etc/profile node02:/etc 
scp -r /etc/profile node03:/etc

7) 每个节点重新加载环境变量

 source /etc/profile 

8) 将配置好的 Flink 目录分发给其他的两台节点

for i in {
   2..3}; do scp -r flink-1.7.2/ node0$i:$PWD; done 

9) 启动 Flink 集群

 bin/start-cluster.sh

10) 通过 jps 查看进程信息

• 基础配置

# jobManager 的 IP 地址 
jobmanager.rpc.address: localhost 
# JobManager 的端⼝号 
jobmanager.rpc.port: 6123 
# JobManager JVM heap 内存⼤⼩ 
jobmanager.heap.size: 1024m 
# TaskManager JVM heap 内存⼤⼩ 
taskmanager.heap.size: 1024m 
# 每个 TaskManager 提供的任务 slots 数量⼤⼩ 
taskmanager.numberOfTaskSlots: 1 
# 程序默认并⾏计算的个数 
parallelism.default: 1

11. 启动 HDFS 集群

start-all.sh

12. 在 HDFS 中创建/test/input 目录