Flink学习笔记(1) - Flink1.9 Standalone Cluster环境搭建

Standalone搭建教程 📖

介绍

Standalone 类似于Spark的Standalone模式 使用自身的资源管理器, Flink 可以在很多种资源管理器上运行 比如 Yarn K8s 等

1.下载 Flink

wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz

2.解压到指定的目录

tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /opt/SoftWare/

3.修改配置文件

(1) 进入flink安装目录

cd /opt/SoftWare/flink-1.9.1

(2) 打开 conf 目录下的flink.yaml 文件 并将其内容修改下面的内容

1. 添加下面的配置, 这个路径是 你的Hadoop conf 的目录 
env.hadoop.conf.dir: '/etc/hadoop/conf'
2. 修改 这个配置 修改为你master节点的主机名或者ip
jobmanager.rpc.address: cm1

(3) 修改conf下的slave文件

删除默认的localhost ,将需要作为 slave节点的主机名添加进去,比如我的是 :

cm2
cm3
cm5
cm6
cm7
cm8
cm9

保存退出

4.将修改后的 flink目录整个的复制到 其他节点

命令仅供参考 :

scp -r /opt/SoftWare/flink-1.9.1 root@cm2:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm3:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm5:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm6:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm7:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm8:/opt/SoftWare
scp -r /opt/SoftWare/flink-1.9.1 root@cm9:/opt/SoftWare

4.配置环境变量

添加如下内容 : (路径仅供参考)

export FLINK_HOME=/opt/SoftWare/flink-1.9.1
export PATH=$PATH:$FLINK_HOME/bin

别忘了执行

source /etc/profile

启动Flink

start-cluster.sh

访问 http://222.22.91.81:8081/ 打开 WEB UI i界面

如果 启动的 taskmanager 个数和web界面的不一致, 建议查看日志 !

补充

建议 在 flink.ymal 配置增加下面的配置 否则会 报 HADOOP_CONF_DIR 未设置

添加下面的配置, 这个路径是 你的Hadoop conf 的目录 因为我的是CDH, 所以目录在 /etc/下, 如果你的是 apache 版本的 应该在Hadoop根目录下

env.hadoop.conf.dir: '/etc/hadoop/conf'