Flink standalone cluster模式安装

Flink standalone cluster模式安装

一、准备工作

1. 机器

   10.0.3.112（jobmanager）
   10.0.3.116 （实际运行任务的节点）
   基本环境准备：
   JDK1.8 以上的版本,同时需要配置环境变量 JAVA_HOME。
   MAVEN: 3.3+  (执行时如果需要就安装)
   ssh 服务安装并启动
   zookeeper 
   kafka 
   

2. 安装包和依赖包

   1. flink的安装包：flink-1.11.2-bin-scala_2.11.tgz

      https://www.apache.org/dyn/closer.lua/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz

   2. 所需要的依赖包：（搜索maven从仓库中下载）

      flink-connector-kafka-0.10_2.11-1.11.2.jar 
      flink-connector-kafka-0.11_2.11-1.11.2.jar 
      flink-connector-kafka-base_2.11-1.11.2.jar 
      kafka-clients-0.11.0.2.jar
      https://mvnrepository.com/
      

二、环境部署

1、将安装包和依赖包上传至服务器

​ 1. 解压flink-1.11.2-bin-scala_2.11.tgz安装包，重命名成flink11 ，

​ 2. 将依赖包放置到flink的lib目录下

2、修改主节点和从节点的conf/flink-conf.yaml配置文件

##配置集群的管理节点 
jobmanager.rpc.address: 10.0.3.112 
##集群管理节点的工作端口 
jobmanager.rpc.port: 6123 
##管理节点进程允许使用的最大内存，单位兆 
jobmanager.memory.process.size: 2048m 
##工作节点的进程允许使用的最大内存，单位兆 
taskmanager.memory.process.size: 2048m 
##工作节点提供的最大 slot 数。这个数的配置需要根据业务场景确定。 
taskmanager.numberOfTaskSlots: 3 
##集群级别的并行度。优先级最低。如果指定了 session 级别的并行度，此值会被覆盖 
parallelism.default: 1 
##这个是 flink 提供的 web 管理端口 
rest.port: 8081 
##需要通过此配置告诉 flink机器的通讯端口。 
env.ssh.opts: -p 36000 
##默认的容错策略 
jobmanager.execution.failover-strategy: region 
##允许通过 web 端口提交任务。
web.submit.enable: true 
##这个配置的目录用于存储通过 web 端口上传的 jar 包。此目录为自定义目录，需要提前创建，适用于上传自定义算子
web.upload.dir:/tmp/flink-upload

3、建立集群环境机器之间的联系

在主、从节点的hosts中加上如下内容

10.0.3.112  flink-master
10.0.3.116  flink-slave1

4、主、从节点编辑一下两个文件

编辑主配置文件：conf/masters

flink-master:8081

编辑子配置文件：conf/workers

flink-slave1

5、启动集群环境

在主节点的机器上进入flink/bin目录
./bin/start-cluster.sh
1. 此命令会启动 jobmanager，同时读取 workers 里配置的机器，启动 taskmanager。这个过程中，会要求输入密 码，密码指的是 workers 文件里配置的机器的登陆密码。

6、启动后检查

1. 在主节点执行 jps 命令，会发现多了个“StandaloneSessionClusterEntrypoint”进程；
2. 在从节点 执行 jps 命令，会发现多出“TaskManagerRunner”进程。
3. 在页面访问 主节点ip:端口进入文本管理页，例如：http://10.0.3.112:8081