从零开始搭建一个高可用的 Flink Standalone 集群

最新推荐文章于 2024-08-17 16:45:35 发布
最新推荐文章于 2024-08-17 16:45:35 发布
阅读量4.6k 收藏 2
点赞数 2
分类专栏： Flink 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brave_heart4pzj/article/details/103989721
版权

一、知识体系导航

你当前所在的位置：计算引擎 - Flink - 环境部署
在这里插入图片描述
二、Flink 这么牛逼 它到底能干嘛

本来打算在安装好的 Flink 集群上直接修改的，这样我增加个配置，这篇文章就完成了，考虑到大家可能对 Flink 不太了解，也不一定有兴趣从 0 开始装个 Linux 环境，所以我索性就从0开始配置一整套的环境。

然后简单的描述一下什么是 Flink，它能干嘛。

现在的互联网公司，数据呈指数级增长，大部分公司都会成立大数据部门，一开始会搭建一个离线的数据仓库，一般会使用 Hadoop + Hive + 调度工具 + Hue 构建一个离线数仓，为公司其他部门提供数据报表，数据决策。但有时候离线的数据往往满足不了实时性的要求，比如下面的需求：

  • 小张，你看能不能做个监控大屏实时查看促销活动销售额（GMV）？
  • 小李，搞促销活动的时候能不能实时统计下网站的 PV/UV 啊？
  • 小孙，我们现在搞促销活动能不能实时统计销量 Top5 啊？
  • 小王，我们 1 元秒杀促销活动中有件商品被某个用户薅了 100 件，怎么都没有风控啊？

我们归纳一下需求，大致就是下面的图
在这里插入图片描述
初看一下是不是挺难的？但我们把问题剖开，主要有下面三个小问题
（1）数据实时采集 - 数据从哪来
（2）数据实时计算
（3）数据实时下发 - 告警 或者 直接存储（消息队列、数据库、文件系统）
在这里插入图片描述
那么 Flink 就是一款实时计算引擎，它可以针对批数据和流数据来进行分布式计算，代码主要由 Java 实现，提供了 Scala、Python、Java 接口供调用。
对 Flink 而言，其主要的处理场景就是流式处理，批处理也是流处理的一个极限特例了，所以 Flink 也是一款真正意义上的流批统一的处理引擎。

三、基础环境准备

大家可以参考《Linux就该这么学》的那本书中，在Windows上安装Linux虚拟机，一定要按照步骤操作
再自己依次安装好基础环境、java 1.8 环境、zookeeper 环境

四、Flink 集群环境准备

（1）单机模式体验
https://flink.apache.org/downloads.html#apache-flink-191
在这里插入图片描述
下载完后，使用 xshell 工具把包上传到服务器 hadoop001 上
在这里插入图片描述
在这里插入图片描述
先 cd /usr/local
输入 put，然后选择刚下载的 flink 文件
解压缩 tar -zxvf flink-1.9.1-bin-scala_2.11.tgz
进入 flink 目录 cd /usr/local/flink-1.9.1
先体验一下 单机模式，什么都不用做
cd /usr/local/flink-1.9.1/bin
./start-cluster.sh
它会在本地启动 JobManager 和 TaskManager
在这里插入图片描述
然后在浏览器上访问：
http://192.168.193.128:8081/
可以看到它启动了一个 TaskManager ，一个 Task Slot
在这里插入图片描述
（2）集群模式体验
首先 kill 掉 hadoop001 的 进程
在这里插入图片描述
kill -9 4182
kill -9 4617

首先
进入到 hadoop001 机器
cd /usr/local/flink-1.9.1/conf
vi flink-conf.yaml
修改几个配置：
jobmanager.rpc.address: hadoop001
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 3

vi slaves
修改为：
hadoop001
hadoop002
hadoop003

vi masters
hadoop001:8081

然后把整个 flink 目录使用 scp 拷贝到其他机器上
scp -r flink-1.9.1 root@hadoop002:/usr/local/
scp -r flink-1.9.1 root@hadoop003:/usr/local/

启动集群，在hadoop001上
cd /usr/local/flink-1.9.1/bin
./start-cluster.sh

再次访问：
http://192.168.193.128:8081/
在这里插入图片描述
可以看到，现在启动了 3 个 TaskManager，9 个 Task Slots
已经是集群模式了

（3）高可用集群搭建
我们现在的集群就只有一个 JobManager，是单点的，高可用就是增加一个 JobManager 作为备用，当主 JobManager 宕机之后，备用 JobManager 顶上，等宕机的 JobManager 恢复之后，又变成备用
在这里插入图片描述
在这里插入图片描述
修改配置文件
vi /usr/local/flink-1.9.1/conf/flink-conf.yaml

high-availability: zookeeper
high-availability.zookeeper.quorum: 192.168.193.128:2181,192.168.193.129:2181,192.168.193.130:2181
high-availability.storageDir: file:///usr/local/flink-1.9.0/ha-dir

（注意，这里应该配置为 hdfs ，但我们没有装，所以暂时配置为本地，不然没法启动集群）

vi /usr/local/flink-1.9.1/conf/masters
hadoop001:8081
hadoop002:8081

修改好的配置发送到其他两台机器
scp flink-conf.yaml root@hadoop002:/usr/local/flink-1.9.1/conf/
scp flink-conf.yaml root@hadoop003:/usr/local/flink-1.9.1/conf/

scp masters root@hadoop002:/usr/local/flink-1.9.1/conf/
scp masters root@hadoop003:/usr/local/flink-1.9.1/conf/

启动集群
在这里插入图片描述
浏览器上打开：
http://192.168.193.128:8081/

发现 JobManager 在 hadoop001 上启动了
现在我们 kill 掉 hadoop001 上的 JobManager 进程
在这里插入图片描述
kill -9 15107

他应该会在 hadoop002 上把备用的 JobManager 变成 主 JobManager，我们再在浏览器上访问一下
hadoop001 上的 JobManager 已经无法访问了
在这里插入图片描述
hadoop002 上的 JobManager 可以访问到了
在这里插入图片描述
说明高可用已经ok了

到此为止，我们已经从零开始搭建了一个 Flink 高可用集群，后续案例都会提交到集群上演示，有兴趣的可以在自己电脑上安装一下，体验一下。

欢迎各位小伙伴来咨询，想要工程源码的加群：797853299

生产队队长
关注
专栏目录
从零开始flink-flink基本操作
weixin_43470617的博客
08-05 625
flink基本操作
树莓派3B搭建Flink集群
2401_84048542的博客
04-22 725
面试前的“练手”还是很重要的，所以开始面试之前一定要准备好啊，不然也是耽搁面试官和自己的时间。我自己是刷了不少面试题的，所以在面试过程中才能够做到心中有数，基本上会清楚面试过程中会问到哪些知识点，高频题又有哪些，所以刷题是面试前期准备过程中非常重要的一点。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！场景[外链图片转存中…(img-VBrRBexa-1713738684473)]
Flink高可用集群搭建
雾幻的博客
01-23 2693
一、部署说明 flink是apache一款大数据实时计算应用，在生产环境中，用来实时计算应用产生的日志，数据等，满足预警，入库等需求 二、系统环境 系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.7.1 四个机器，其中1...
了解高可用集群KEEPALIVED，这一篇就够了
最新发布
m0_64981741的博客
08-17 735
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务官网：功能：基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务virtual_server IP port #定义虚拟主机 IP 地址及其端口virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群。
【flink集群+高可用搭建】
weixin_45273750的博客
12-17 1910
flink 1.集群搭建 上传flink压缩包到指定目录 解压 tar -zxvf flink-1.10.1-bin-scala_2.12.tgz 重命名 mv flink-1.10.1 flink 配置环境变量： export FLINK_HOME=/usr/local/software/flink export PATH=$FLINK_HOME/bin:$PATH #export HADOOP_CONF_DIR=/usr/local/software/hadoop/etc/hadoo
flink高可用集群搭建（Standalone模式）
热门推荐
hello.reader
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
Flink那件事儿
美丽的毛毛草
07-30 462
1. Flink好的博文 https://github.com/zhisheng17/flink-learning flink中文网站：https://flink.apache.org/zh/flink-architecture.html 2. Flink简介 2.1 概念框架 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 Apache Flink 擅长处理无界和有界数据集 精
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 949
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化(2)
2401_84166811的博客
05-06 598
Flink程序开发的流程总结如下：1）获得一个执行环境2）加载/创建初始化数据3）指定数据操作的算子4）指定结果数据存放位置5）调用execute()触发执行程序注意：Flink程序是延迟计算的，只有最后调用execute()方法的时候才会真正触发执行程序。
大数据实操篇 No.10-Flink Standalone集群HA高可用部署
pezynd的专栏
08-28 992
第1章 简介 Flink高可用集群，有多种模式，本章介绍：Standalone独立集群模式的高可用部署，及其使用。 下面先引用一张Flink官网的图：可以看到Standalone集群的高可用其实就是JobManager的高可用。一个Leader JobManager，以及其他多个Standby JobManager，Leader和Standby之间的切换是依赖于zookeeper，所以部署之前必须安装好Zookeeper集群（可以参考笔者的另外一篇文章：大数据实操篇 No.1-Zookeeper集群搭建
flink集群搭建（standalone 高可用模式）
shang17860504386的博客
02-01 1987
flink集群搭建
B02 - 066、搭建Flink高可用集群
吾心持剑，剑锋披靡
06-28 223
初学耗时：0.5h 注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。 一、   1.1    1.2  记忆词：     B02 - 999、部署大数据环境及部分编译  ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、   1.1 ~    1.2 ~      1.2.1 .       1.2.2 .  ...
flink standalone高可用集群搭建
xuye0606的博客
06-21 307
Flink standalone模式高可用集群，有一个 JobManager 作为备用，当主 JobManager 宕机之后，备用 JobManager 顶上，等宕机的 JobManager 恢复之后，又变成备用。配置 master 与 worker内部通信端口。配置masterIP(可以指定当前服务器IP)第二步：Flink源码包解压。#如果只修改单个文件。特备注意：在配置文件。
Flink standalone集群HA高可用搭建
bao_since的博客
05-15 3156
如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。 HA 配置为 3masters 3slavers java1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.12 1.配置集群间ssh免密登陆 生成ss...
Flink（5）：Flink安装部署之Standalone-HA高可用集群模式
yang_shibiao的博客
06-30 1920
0. 相关文章链接 1. 原理
flink standalone集群搭建
06-28
### 回答1： Flink standalone集群搭建步骤如下： 1. 下载Flink安装包并解压缩到指定目录。 2. 配置Flink集群的masters和workers节点，可以在conf目录下的masters和workers文件中进行配置。 3. 启动Flink集群的masters节点，可以使用bin/start-cluster.sh命令启动。 4. 启动Flink集群的workers节点，可以使用bin/taskmanager.sh start命令启动。 5. 验证Flink集群是否正常运行，可以使用bin/flink list命令查看当前运行的Flink作业。 6. 在Flink集群中提交作业，可以使用bin/flink run命令提交作业。 7. 监控Flink集群的运行状态，可以使用Flink的Web UI或者JMX监控工具进行监控。 以上就是Flink standalone集群搭建的基本步骤，希望对您有所帮助。 ### 回答2： Apache Flink是一个处理流和批量数据的通用分布式计算引擎，可在大规模数据集上快速实现低延迟和高吞吐量。Flink提供了一个Standalone集群模式，使开发人员可以在自己的本地机器上测试和验证他们的应用程序，而无需构建一个完整的分布式环境。在本文中，我们将介绍如何搭建一个Flink Standalone集群。 1. 确保你的环境满足Flink的要求，比如安装Java环境等。 2. 下载Flink二进制文件。从Flink官网下载最新的tar文件，然后解压到一个目录下。 3. 配置Flink。打开conf/flink-conf.yaml文件，配置Flink的参数，比如jobmanager.rpc.address（JobManager监听的主机地址），taskmanager.numberOfTaskSlots（每个TaskManager能够执行的任务数）等。 4. 启动JobManager。在Flink的bin目录下执行以下命令： ./start-cluster.sh 这将启动JobManager和TaskManager进程。 5. 访问Flink Web Dashboard。在浏览器中输入http://localhost:8081，可以访问Flink Web Dashboard。这里可以查看集群的状态、运行中的任务、日志等。 6. 启动应用程序。使用Flink提供的运行脚本（bin/flink run）来提交应用程序。 7. 观察应用程序的运行状态。可以在Flink Web Dashboard中查看应用程序的运行状态和日志，还可以监控各种指标，如吞吐量、延迟、资源使用情况等。 8. 停止集群。在bin目录下执行以下命令： ./stop-cluster.sh 这将停止JobManager和TaskManager进程。 总之，通过Flink Standalone集群，您可以在本地机器上测试和验证您的应用程序，并且几乎没有任何成本。值得注意的是，Standalone集群并不适合生产环境，但当您需要在本地机器上调试应用程序时，它是一个很好的选择。 ### 回答3： Apache Flink是一个开源的分布式流处理系统。它以高效、可伸缩和容错为设计目标，因此广泛应用于大数据领域。Flink可以运行在各种集群上，包括Hadoop YARN和Apache Mesos等。在本文中，我们将讨论如何在Flink standalone集群上搭建分布式流处理系统。 Flink standalone集群搭建的准备工作： 在搭建Flink standalone集群之前，需要确保已经完成以下准备工作： 1. 安装Java 8或更高版本。 2. 下载Flink发行版，并解压缩至安装目录。 Flink standalone集群搭建的步骤： 1. 在主节点上启动Flink集群管理器。在Flink所在目录下，输入以下命令： ./bin/start-cluster.sh 2. 查看集群状态。在Flink所在目录下，输入以下命令： ./bin/flink list 如果输出结果为空，则说明集群状态正常。 3. 在从节点上启动TaskManager。在从节点所在机器上，输入以下命令： ./bin/taskmanager.sh start 4. 查看TaskManager状态。在从节点所在机器上，输入以下命令： ./bin/taskmanager.sh status 如果输出结果为“正常运行”，则说明TaskManager已经成功启动。 5. 提交Flink作业。在Flink所在目录下，输入以下命令： ./bin/flink run ./examples/streaming/SocketWindowWordCount.jar --port 9000 其中，SocketWindowWordCount.jar是一个简单的Flink作业，用于计算流式数据的词频统计。 6. 监控作业运行情况。在浏览器中输入以下地址： http://localhost:8081 可以查看作业的运行状态、性能指标等信息。 总结： 通过以上步骤，我们已经成功搭建了Flink standalone集群，并提交了一个简单的流处理作业。需要注意的是，本文仅提供了基础的搭建步骤，实际生产环境中还需要进行更加细致的配置和管理。同时，Flink具有丰富的API和生态系统，可以灵活应对不同的数据处理场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值