flink
1.集群搭建
-
上传flink压缩包到指定目录
-
解压
tar -zxvf flink-1.10.1-bin-scala_2.12.tgz
重命名
mv flink-1.10.1 flink
-
配置环境变量:
export FLINK_HOME=/usr/local/software/flink export PATH=$FLINK_HOME/bin:$PATH #export HADOOP_CONF_DIR=/usr/local/software/hadoop/etc/hadoop
生效:
source /etc/profile
-
配置master
vi conf/masters
内容:
10.202.80.109:8081
配置slaves
vi conf/slaves
内容:
10.202.80.110 10.202.80.196
-
修改配置文件
conf/flink-conf.yaml
:cd flink/ vi conf/flink-conf.yaml
内容如下:
jobmanager.rpc.address: 10.202.80.109 taskmanager.memory.preallocate: false #JobManager的Web界面的端口(默认:8081) jobmanager.web.port: 8081 #配置每一个taskmanager生成的临时文件目录(选配) taskmanager.tmp.dirs: /usr/local/software/flink/tmp
-
创建文件:
注意!!一定要创建
进入flink目录 mkdir tmp chmod 777 tmp
-
分发
scp -r ../flink root@10.202.80.196:/usr/local/software/ scp -r ../flink root@10.202.80.110:/usr/local/software/
注意:配置环境变量
-
启动:
bin/start-cluster.sh
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SttQWzrb-1639724313737)(C:\Users\ZYZ\AppData\Roaming\Typora\typora-user-images\image-20211208111424357.png)]
-
查看进程
jps
-
访问网址:10.202.80.109:8081
会出现如下页面
2.相关命令
2.1 启动、停止flink集群
- 启动:
./bin/start-cluster.sh
- 停止:
./bin/start-cluster.sh
2.2启动、停止jobmanager
如果集群中的jobmanager进程挂了,执行下面命令
bin/jobmanager.sh start
bin/jobmanager.sh stop
2.3 启动、停止taskmanager
添加新的taskmanager节点或者重启taskmanager节点
bin/taskmanager.sh start
bin/taskmanager.sh stop
3 高可用模式
3.1 安装步骤
3.1.1下载依赖
下载架包 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
把他放到 flink/lib
目录下
3.1.2修改配置文件
vi conf/flink-conf.yaml
添加内容如下:
#jobmanager.rpc.address: 10.202.80.109 屏蔽
jobmanager.rpc.port: 6123
# 下面四项根据自己实际情况配置
jobmanager.heap.size: 2048m
taskmanager.memory.process.size: 4096m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 8
high-availability: zookeeper
high-availability.zookeeper.quorum: 10.202.80.109:2181,10.202.80.110:2181,10.202.80.196:2181
high-availability.zookeeper.path.root: /flink
high-availability.storageDir: file:///flink/recovery #本地的文件系统
yarn.application-attempts: 10
将配置好的flink-conf.yaml
分发到另外两个节点:
scp -r conf/flink-conf.yaml root@10.202.80.110:$PWD/conf
vi ../flink/conf/zoo.cfg
#分发
scp -r conf/zoo.cfg root@10.202.80.110:$PWD/conf
- 在10.202.80.109的conf下的master文件中添加多个节点:
10.202.80.109:8081
10.202.80.110:8081
3.1.3 启动:
-
启动zk集群
-
启动flink集群
start-cluster.sh
查看节点信息:
-
进程:
-
访问web-ui界面: