flink分布式安装
一、下载安装包
安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载
下载完成后解压安装包到所要安装的目录
二、配置文件
有三个文件要配置
flink-conf.yaml:
#jobmanager.rpc.address: node21
high-availability:zookeeper #指定高可用模式(必须)
high-availability.zookeeper.quorum:node21:2181,node22:2181,node23:2181
#ZooKeeper仲裁是ZooKeeper服务器的复制组,它提供分布式协调服务(必须)
high-availability.storageDir:hdfs:///flink/ha/ #JobManager元数据保存在文件系统
storageDir中,只有指向此状态的指针存储在ZooKeeper中(必须)
high-availability.zookeeper.path.root:/flink #根ZooKeeper节点,在该节点下放置所有集群节点(推荐)
high-availability.cluster-id:/flinkCluster #自定义集群(推荐)
state.backend: filesystem
state.checkpoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/checkpoints
masters:(配置主节点名称)
node01
node02
workers:(配置工作节点)
node02
node03
三、下载flink连接Hadoop的组件
下载与Hadoop对应的版本,然后放到flink的lib目录下
四、启动flink
start-cluster.sh