3台机器配置hadoop集群_Flink 集群搭建,Standalone,集群部署,HA高可用部署

063ebfdca632666bff6ea9ca4f5b9945.png
Flink 集群搭建,Standalone,集群部署,HA高可用三种模式部署方式

基础环境

准备3台虚拟机

23df652e56b219e1aef88ac8dceeb1e6.png

配置无密码登录

配置方法:https://ipooli.com/2020/04/linux_host/

并且做好主机映射。

下载Flink

https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz

并解压缩

部署

Standalone Cluster 单机模式

启动

进入flink-1.10.1 文件夹内

直接执行:

./bin/start-cluster.sh

93d4fed1808cf9fe2181b79ed8a6b6b2.png

集群模式

修改配置文件

进入flink-1.10.1 文件夹内

  • 修改./conf/flink-conf.yaml

修改如下几个参数:

jobmanager.rpc.address: bigdata1
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.memory.process.size: 1568m
taskmanager.numberOfTaskSlots: 3
parallelism.default: 3
  • 修改./conf/masters 配置master节点

修改为:

bigdata1:8081
  • 修改./conf/slaves 配置slaves节点

修改为:

bigdata1
bigdata2
bigdata3

拷贝到其他两台机器

scp -r /home/admin/flink/ root@bigdata2:/home/admin/

scp -r /home/admin/flink/ root@bigdata3:/home/admin/

启动集群

在 bigdata1上执行:

./bin/start-cluster.sh

随后访问 http://bigdata1:8081/

可以看到有3个Task Managers,1个Job Manager 为bigdata1

282a3a1fe5573de5429a75a29d80abb9.png

HA高可用模式

两个JobManager,当主 JobManager 宕机之后,使用备用 JobManager ,等宕机的 JobManager 恢复之后,又变成备用

下载hadoop依赖包

  • 对应hadoop版本下载

我使用的hadoop版本为:hadoop-2.6.5 对应依赖包:下载

其他版本:下载

  • 把依赖包放在flink 的 lib 目录下
  • 配置环境变量
vi /etc/profile
# 添加环境变量
export HADOOP_CONF_DIR=/home/admin/hadoop-2.6.5/etc/hadoop
# 环境变量生效
source /etc/profile

修改./conf/flink-conf.yaml 配置文件

修改如下几个参数

high-availability: zookeeper
high-availability.storageDir: hdfs://bigdata1/flinkha/
high-availability.zookeeper.quorum: bigdata1:2181
high-availability.zookeeper.path.root: /flink
state.checkpoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/savepoints

启动hdfs

关于hadoop的配置文件与启动方式在这就不赘述了。

启动Flink中zookeeper

进入Flink文件夹

./bin/start-zookeeper-quorum.sh

jps 查看是否启动

2e8d39c33873f7550a6671bbeb7e1eca.png

启动Flink

在bigdata1中执行

./bin/start-cluster.sh

查看

分别打开访问:

http://bigdata1:8081/

http://bigdata2:8081/

两个页面都可以查看集群信息

6ba8882cfea260a758896d150cd0485d.png

测试

  • 我们可以 kill掉bigdata1机器上的Job Manager,然后备用(bigdata2)Job Manager也是可以使用的。

0c4933e73c4cf57b48efb970d29a03f0.png
  • 再启动bigdata1的Job Manager
./bin/jobmanager.sh start

5ba1df33041b3d51107b41012d940e62.png

小结:本篇介绍了Flink单机,集群,HA高可用三种部署方式。

更多文章:www.ipooli.com

扫码关注公众号《ipoo》

c7de63d1ae85a50dfe4254c5192c4363.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值