Flink HA高可用集群搭建（Standalone Cluster）

最新推荐文章于 2024-12-05 11:25:15 发布
置顶 最新推荐文章于 2024-12-05 11:25:15 发布
阅读量4k 收藏 10
点赞数 3
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1021979964/article/details/87859592
版权
本文详细介绍了如何搭建Flink的高可用（HA）集群，包括下载Flink 1.7.2，配置masters和slaves文件，修改flink-conf.yaml以使用Zookeeper进行集群管理，设置Zookeeper配置，拷贝配置到所有节点，并启动集群。最后通过访问Master节点的8082端口验证集群搭建成功。
摘要由CSDN通过智能技术生成

Flink HA高可用集群搭建（Standalone Cluster）

 

1.根据集群中hadoop的版本和scala的版本对应下载Flink，该文章下载的是Flink1.7.2版本。

下载地址  https://flink.apache.org/downloads.html

 

2.安装解压Flink到/home/kfs目录下（Master举例）

    tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.12.tgz -C /home/kfs/

 

3.来到flink的conf目录下

    cd

    ls

    cd flink-1.7.2/conf/

    ls

 

4.修改masters文件（masters文件对应着主节点，其中为了ha高可用性，使用两台机器做主备因为安装了spark，如果端口为8081可以能会有冲突，所以改为8082）

    vi masters

最低0.47元/天 解锁文章
Flink大数据处理：构建Standalone-HA高可用集群模式
PixelInk的博客
09-17 180
Flink Standalone-HA集群模式是一种分布式部署架构，可以确保Flink JobManager的高可用性。同时，提供了一个简单的示例代码，展示了如何提交Flink作业到Standalone-HA集群。本文将介绍如何配置和部署Flink Standalone-HA高可用集群，并提供相应的源代码示例。此时，Flink集群将以Standalone-HA模式运行，并使用ZooKeeper进行高可用性管理。首先，从Apache Flink官方网站下载最新版本的Flink，并按照官方文档的指引进行安装。
Flink独立集群部署和HA部署
永远热泪盈眶 坚持输出
12-02 1812
本片详细说明了Flink独立集群部署和HA部署规则和注意要点，并给出具体操作实例，如有出入还望指正。
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
flink集群搭建
qq_19520877的博客
01-04 2083
1.1 基础环境 jdk1.8及以上【配置JAVA_HOME环境变量】 ssh免密码登录【集群内节点之间免密登录】（教程：https://blog.csdn.net/qq_19520877/article/details/119490098） 1.2 安装包下载 https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop27-scala_2.11.tgz 1.3 集群规划 linux9527 JobManage
大数据笔记之flink集群的安装部署
最新发布
m0_37635053的博客
12-05 907
hadoop192、hadoop193的配置，仅taskmanager.host各自填自己的主机名，不修改rest.address,flink集群是以hadoop集群为基础的，所以先要搭建hadoop集群(参看前文:hadoop集群搭建)我的3台机器，的hadoop账号设置了免密访问(参考hadoop集群搭建的1.4)分发到另外两台机器，3台机器的masters与workers是一致的。在 /home/hadoop/bin目录下执行。写入：hadoop191:8081。其他与master保持一致即可。
Flink_Flink 集群搭建
迎难而上
05-22 2907
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
Flink standalone集群HA高可用搭建
bao_since的博客
05-15 3192
如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。 HA 配置为 3masters 3slavers java1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.12 1.配置集群间ssh免密登陆 生成ss...
Flink实战——集群搭建
m0_46332441的博客
04-09 3009
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
【Flink原理和应用】： Flink Standalone模式的高可用性搭建
hxcaifly的博客
02-24 1564
1. 前言 Flink的standalone模式的高可用部署，需要依赖于ZooKeeper和Hadoop的hdfs。本次集群部署选用的三台服务器ip为： 10.35.108.81 10.35.108.82 10.35.108.83 前期准备工作： ZooKeeper的部署工作完成：三台服务器集群，其中81是leader节点。82和83是follower节点。 HDFS安装完成：83节点开启的N...
【Flink系列】部署篇（二）：独立部署高可用Flink集群实战
m0_37935211的博客
01-12 2137
独立模式部署高可用的Flink集群操作步骤，高可用服务采用zookeeper
Flink 集群搭建
weixin_44393345的博客
06-02 506
Flink 集群搭建Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 3.1Standalone 模式安装 我们对 standalone 模式的 Flink 集群进行安装，准备三台虚拟机，其中一台作为 JobManager（hadoop-senior01），另外两台作为 TaskManager（hadoop-se
Flink集群搭建
believe2017slwx的博客
04-11 1048
下载根据hadoop版本下载对应的flink版本鉴于使用的是hadoop2.4.x版本，此处使用最新版本flink-1.4.2。下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.4.2/flink-1.4.2-src.tgzlinux环境准备主机artemis-02artemis-03artemis-04安装位置/home...
flink 读取 hive，java.net.UnknownHostException: hacluster
05-27
这个错误通常是由于 Flink 无法解析 Hive 集群的 HA 名称导致的。为了解决这个问题，你可以尝试以下几个步骤： 1. 确认你的 Flink 作业和 Hive 集群在同一个网络中，并且可以相互访问。 2. 检查 Flink 配置文件中是否正确配置了 Hive Metastore URI 和 Hive 集群的 HA 名称。你可以使用以下配置来指定 Hive 集群的 HA 名称： ``` hive.metastore.uris=thrift://<hacluster-name>:<port> ``` 其中 `<hacluster-name>` 是你的 Hive 集群的 HA 名称，`<port>` 是你的 Hive Metastore 服务的端口号。 3. 如果你的 Hive 集群使用了 Kerberos 认证，你还需要配置 Flink 的安全选项。你可以使用以下配置来启用 Flink 的 Kerberos 认证： ``` security.kerberos.login.use-ticket-cache=true security.kerberos.login.keytab=<path-to-keytab-file> security.kerberos.login.principal=<kerberos-principal> ``` 其中 `<path-to-keytab-file>` 是你的 Kerberos keytab 文件的路径，`<kerberos-principal>` 是你的 Kerberos 主体名称。 如果你使用的是 Flink 1.9 或更高版本，你还可以使用内置的 HiveCatalog 来连接 Hive。它会自动处理 Hive 集群的 HA 名称和 Kerberos 认证等问题。你可以参考 Flink 官方文档中的 Hive 集成部分来了解更多详细信息。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值