Flink环境搭建(standalone模式)

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量6.8k 收藏 11
点赞数 7
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104060896
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏
本文详细介绍了如何在standalone模式下搭建Flink集群，包括架构说明、安装前提、搭建步骤、启动集群以及访问JobManager的Web管理界面。强调了不需要依赖其他资源调度框架，并提供了相关链接和配置说明。
摘要由CSDN通过智能技术生成

本文开头附：Flink 学习路线系列 ^ _ ^

1.Flink环境搭建

 1.1 架构说明(standalone模式)

       standalone 是 Flink 自带的一个分布式集群，它不依赖其他的资源调度框架、不依赖 yarn 等。Spark也有一个自带的分布式资源调度模型，也叫作 standalone。
在这里插入图片描述
standalone模式进程名介绍：

  1. JobManager------->进程名字：StandaloneSessionClusterEntrypoint    我们又叫它：Master
  2. TaskManager----->进程名字：TaskManagerRunner    我们又叫它：Worker

 1.2

了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
专栏目录
订阅专栏
搭建Flink standalone HA 模式所需的jar包
04-13
首先，Flink的standalone模式是Flink分布式运行的一种方式，它不需要借助于其他分布式资源管理系统（如YARN或Kubernetes），而是自包含一个JobManager和TaskManager的集群。而HA模式则在此基础上增加了容错机制，...
Flink部署-standalone模式
Xlucas的博客
11-30 5333
安装环境信息 flink-1.6.2-bin-hadoop27-scala_2.11.tgz hadoop-2.7.5 java 1.8 zookeeper 3.4.6 os:centos 6.4 1、下载 直接去flink的社区下载就可以了。http://flink.apache.org/downloads.html 2、解压 tar -zxvf flink-1.6.2-bin-hadoop...
Flink 1.15本地集群部署Standalone模式(独立集群模式)
weixin_40344051的博客
07-22 4271
flink sql1.15 部署和flink sql命令操作创建job,完成mysql实时流数据同步
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3066
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
Flink任务调度原理之TaskManager 与Slots
叁木大数据
04-28 1万+
TaskManager 与Slots 一、作用与关系 上文讲到了每一个worker(TaskManager)为了控制能接收多少个task,worker通过task slot来进行控制（一个worker至少有一个task slot）,那么是怎么处理的呢？话不多说先上图 总： Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为...
Flink集群运行模式--Standalone运行模式
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-27 2013
Flink集群运行模式--Standalone运行模式
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 3644
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Flink Standalone部署模式
陈小哥cw
06-13 2259
独立模式（Standalone）是部署 Flink 最基本也是最简单的方式： 所需要的所有 Flink 组件， 都只是操作系统上运行的一个 JVM 进程。独立模式是独立运行的， 不依赖任何外部的资源管理平台； 当然独立也是有代价的： 如果资源不足， 或者出现故障， 没有自动扩展或重分配资源的保证， 必须手动处理。所以独立模式 一般只用在开发测试或作业非常少的场景下。另外， 我们也可以将独立模式的集群放在容器中运行。 Flink 提供了独立模式的容器化部署方式，可以在 Docker 或者 Kubernetes
Flink Standalone集群部署和任务提交
chanyue123的博客
01-29 5479
讲解flink standalone的部署和任务提交
Flink 开发环境搭建和应用的配置部署及运行.pdf
05-21
Flink应用的运行有几种模式，包括单机standalone模式、standalone集群模式和Yarn集群模式。不同的运行模式适用于不同的场景和需求。在进行模式选择时，需要根据实际的计算需求、资源情况和集群规模来决定。 Flink...
flink集群搭建包.zip
06-14
启动Flink集群，可以使用bin目录下的`start-cluster.sh`脚本启动standalone模式，或者`start-yarn-session.sh`启动YARN模式。 对于开发者而言，理解Flink的数据模型（DataStream和DataSet）和API是非常关键的。...
Flink安装-简介.docx
07-30
在本文中，我们将详细介绍如何在 Standalone 模式下安装和配置 Flink，以及进行基本的 WordCount 测试。 首先，选择合适的 Flink 版本至关重要。在这个例子中，我们选择了 Flink 1.10.1。每个版本都有其特定的特性...
flink入门到精通视频教程
07-15
07.Flink On Yarn模式-提交方式-Session会话模式 08.Flink On Yarn模式-提交方式-Job分离模式 09. Flink运行架构-Flink程序结构 10. Flink运行架构-Flink并行数据流 11. Flink运行架构-Task和Operator chain 12. ...
2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤
热门推荐
alanchanchn的专栏
07-05 4万+
在部署该集群前，hadoop集群已经部署好了，其四台服务器为server1、server2、server3和server4，其中server1是namenode、其余的是datanode，其端口是默认。本文详细的介绍了flink的Standalone独立集群模式和Standalone HA集群模式的部署、提交任务与验证，同时介绍了Flink on yarn的两种运行模式。在部署该集群前，zookeeper集群已经部署好了，其三台服务器为server1、server2和server3，其端口是2118。
基础学习-Flink-standalone 部署
weixin_41077841的博客
01-09 886
文章目录Flink standalone 说明Flink standalone 部署官网下载flink 安装包安装包解压启动 Flink standalone 说明 官网：https://flink.apache.org/flink-architecture.html Apache Flink 的部署分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用，虽然没有什么难度，但是对于flink的学习确实挺好的入门 Flink standalone.
Flink集群部署--Standalone模式
justlpf的专栏
04-02 848
参考文章：在CDH集群安装Flink 1. 下载安装包 查看自己的hadoop版本和scala版本, 这里是hadoop 2.6, scala 2.11 wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz 2. 解压 tar -zxf flink-...
flink-standalone部署。
wchao111111的博客
02-09 2401
最近上面想要通过flink-cdc来实现mysql数据实时同步至Elasticsearch,由于可以通过sql来实现数据同步，难度和投入都相对较小。于是自己研究了下flink,由于flink-cdc 现在最高支持flink1.13的版本，所有本文使用1.13.5的版本演示部署flink集群。 flink大数据框架，官方推荐了三种集群模式： 1.standalone 2.kubernetes 3.YARN 本文通过standlone+zookeeper构建flink HA Service 项目环境
Flink standalone
Emperor_CJ的博客
09-19 236
Flink集群安装部署 1：standalone模式 集群节点规划(一主两从) hadoop100--master(JobManager) hadoop101--slave(TaskManager) hadoop102--slave(TaskManager) 基础环境： jdk1.8及以上【需要配置JAVA_HOME】 ssh免密码登录(至少要实现主节点能够免密登录到从节点)...
Flink集群安装和部署之Standalone模式
chbxw
06-21 4552
  Standalone是Flink 的独立部署模式，它不依赖其他平台。在使用这种模式搭建 Flink集群之前，需要先规划集群机器信息。在这里为了搭建一个标准的Flink集群，需要准备3台机器，如图下所示。 一、安装部署Standalone模式 1.1、修改配置文件 1.1.1、修改flink-conf.yaml 修改JobManager的主机名 jobmanager.rpc.address: hdp0-179014 1.1.1.1、防止web端口冲突 # 防止web端口冲突 jobmanager.w
Flink的Standalone模式分为
06-03
在Flink的Standalone模式中，Flink集群的Master节点和Worker节点都运行在同一台机器上，任务提交和数据传输都是在本地进行的。在Standalone模式下，Flink又分为以下两种模式： 1. 单机模式（Single Node）：在单机模式下，Flink的Master节点和Worker节点都运行在同一台机器上，可以通过命令行启动Flink集群，然后在Master节点上提交任务。单机模式适合于开发和测试阶段以及小规模数据处理。 启动命令如下： ``` ./bin/start-cluster.sh ``` 2. 集群模式（Cluster）：在集群模式下，我们可以在多台机器上搭建Flink集群，其中一个节点被指定为Master节点，其他节点作为Worker节点，Master节点负责接收任务提交请求，调度任务执行，Worker节点负责任务的具体执行。集群模式适合于大规模数据处理和高可用性要求较高的场景。 集群模式需要先在Master节点上启动Flink集群，然后才能在Master节点上提交任务。启动命令如下： ``` ./bin/start-cluster.sh ``` 注意：在集群模式下，需要先配置所有节点的Flink环境，并保证所有节点的Flink版本和配置文件一致，才能正常启动Flink集群。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值