flink 二、flink集群搭建

flink集群搭建

1、准备三台Linux机器，node01,node02,node03，基本环境构建

vi /etc/hosts 1,2步骤仅在一台机器上做即可

192.168.23.171 node01
192.168.23.172 node02
192.168.23.173 node03

删除原有的Java环境，构建1.8的jdk
rpm -qa|grep jdk
rpm -e –nodeps 上面查找出的Java
解压jdk.tar.gz
配置/etc/profile

export JAVA_HOME=/opt/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

退出并source /etc/profile

2、配置flink集群

将官网下载的flink*.tgz解压
修改conf下flink_yarn.xml

# jobManager 的IP地址
jobmanager.rpc.address: node01
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
#是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
#JobManager的Web界面的端口（默认：8081）
jobmanager.web.port: 8081
#配置每个taskmanager生成的临时文件目录（选配）
taskmanager.tmp.dirs: /opt/flink-1.6.1/tmp

修改slaves文件

node01
node02
node03

修改/etc/profile配置hadoop的环境变量

export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop

3、分发flink,profile到另外两台机器上

scp -r /opt/flink-1.6.1/ node02:/opt
scp -r /opt/flink-1.6.1/ node03:/opt
scp -r /etc/profile node02:/etc
scp -r /etc/profile node03:/etc

另外两台机器source profile

4、flink 集群启动

进入node01
/opt/flink-1.6.1/bin/start-cluster.sh
这时在browser中打开http://node01:8001就可以看到flink的dashboard界面了