Flink集群搭建

最新推荐文章于 2024-04-23 16:18:27 发布

apprentices

最新推荐文章于 2024-04-23 16:18:27 发布

阅读量215

点赞数

分类专栏： Flink学习文章标签： Flink 高可用

本文链接：https://blog.csdn.net/apprentices/article/details/99820115

版权

Flink学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

上一篇博客中主要是Flink的了解性知识以及如何使用在local Flink上跑一个程序，这篇博客我们主要介绍下Flink的standalone集群的搭建以及其基于ha 的一个搭建。对于flink的安装我默认你已经做好节点间的免秘钥以及各个节点关闭防火墙,jdk1.8的安装等操作，开始之前我先给大家介绍一款非常使用的软件，大家可以看下使用效果，喜欢的话可以下载着玩玩。

lrzsz--方便上传下载文件

安装方式也非常简单,如下

sudo yum install lrzsz

其中rz是上传命令，sz是下载命令，效果图如下：

Flink standalone

flink的安装步骤与hadoop的安装步骤相似，

主机名 ip 角色

master 192.168.1.150 master

slave2 192.168.1.151 slave

slave3 192.168.1.152 slave

slave4 192.168.1.153 slave

1.去官网选择合适的安装包（https://flink.apache.org/downloads.html），对于flink而言如果后续需要使用hadoop生态圈的成员，比如yarn，hdfs之类的那么就需要根据你安装的hadoop版本选择flink版本，如果不适用hadoop生态圈的话，可以随便下载。

我之前安装的hadoop版本是2.7.3所以选择 flink-1.7.2-bin-hadoop27-scala_2.11.tgz版进行下载。直接下载到本地，然后使用rz 命名把安装包上传到虚拟机上master节点上。

2.解压缩，我一般是把安装文件放置在/usr/local 目录下，使用解压命令

tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /usr/local

进入/usr/local/下，将改文件名改为flink,

mv flink-***** flink

cd flink

ls //查看文件

其中bin目录下的是flink集群的启停相关命令，conf的是flink的配置文件，examples放置的是一些小例子，上一篇中我们就运行了其中的wordcount程序。

3.修改配置文件

cd conf

我们需要修改的是一些几个文件

vim flink-conf.yaml

其中jobmanager.rpc.address：master（master节点的名称）

对于masters文件因为此时不是基于高可用的所以此时不需要修改，只需要在slaves中加入slave节点即可，

4.至此配置结束，分发flink文件到slaves中记录的节点中

scp -r /usr/local/flink/ root@slave2:/usr/local

scp -r /usr/local/flink/ root@slave3:/usr/local

scp -r /usr/local/flink/ root@slave4:/usr/local

5.修改/etc/profile

再次分发/etc/profile文件

至此集群配置就已经结束，我们可以直接启动该集群了：

可以看到在四个节点的flink的集群已经启动了，我在访问下web端

至此Flink 的Standalone 模式启动成功。

Flink Standalone ha

Jobmanager协调每个flink部署，他负责调度和资源管理，默认情况下，每个flink集群只有一个jonmanager实例，这会造成单点故障（SPOF）,如果Jobmanager挂掉的话则无法提交新作业并且导致运行中作业失败。使用jobmanager的高可用性的模式可以避免这个问题，其原理是：搭建集群时有两个或以上的jobmanager，其中一个为active，其他的均为standby,当活动的节点不幸宕机那么，由zookeeper依据其自身的选举机制从standby 的节点中再次选举出一个active jobmanager。故Flink的高可用性是基于zookeeper的，安装zookeeper的教程可以参考网上其他教程。