Flink部署-standalone模式

最新推荐文章于 2024-07-24 11:58:44 发布

Saturn8523

最新推荐文章于 2024-07-24 11:58:44 发布

阅读量635

点赞数 19

分类专栏：学习文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_52126591/article/details/136299370

版权

本文介绍了如何安装Flink库，配置jobmanager和taskmanager，以及YARN和Kubernetes部署，涉及flink-conf.yaml和slaves文件的修改，集群启动、状态监控、并行度调整，以及资源管理和任务取消等关键步骤。

摘要由CSDN通过智能技术生成

安装

在这里插入图片描述

查看lib文件中没有该包，如果想要添加额外的组件，需要下载以下jar文件，并放在lib包中

jobmanager 作业调度，作业管理，作业分发
taskmanager 任务管理
yarn-session yarn部署
Kubernetes k8s部署
flink 最主要命令

本地状态放置在堆外内存
总内存 > 堆内存heap
槽位(task最大可执行,静态)   每个taskmanager的槽位  
并行度(动态执行能力,实际运行)   不超过所有的taskmanager的槽位

1.修改 flink/conf/flink-conf.yaml 文件：
远程过程控制/调用 jobmanager.rpc.address: localhost

jobmanager.rpc.address:hadoop1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Saturn8523

关注关注

19
点赞
踩
10

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Apache Flink连载（十六）：Flink On Standalone任务提交-Standalone Session模式

qq_32020645的博客

12-20

876

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink On Standalone 即Flink任务运行在Standalone集群中，Standalone集群部署时采用Session模式来构建集群，即：首先构建一个Flink集群，Flink集群资源就固定了，所有提交到该集群的Flink作业都运行在这一个集群中，如果集群中提交的任务多资源不够时，需要手动增加节点，所以Flink 基于Standalone运行任务一般用在开发测试或者企业实时业务较少的场景下。。

Flink 1.15本地集群部署Standalone模式(独立集群模式)

weixin_40344051的博客

07-22

4268

flink sql1.15 部署和flink sql命令操作创建job,完成mysql实时流数据同步

参与评论您还未登录，请先登录后发表或查看评论

Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）

最新发布

苍煜

07-24

3001

Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。

flink集群Standalone模式部署

weixin_43974943的博客

02-29

886

示例：scp -r /opt/flink/flink-1.17.2 /opt/flink/flink-1.17.2【这里是我的安装目录，目录根据自己安装的目录修改】ssh-copy-id -i ~/.ssh/id_rsa.pub 需要免密的机器IP（注意：包含本机，三台服务器都要分发）示例：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.119.110。进入conf目录修改flink-conf.yaml、master、worker三个文件。##master文件修改内容。

flink-standalone部署。

wchao111111的博客

02-09

2396

最近上面想要通过flink-cdc来实现mysql数据实时同步至Elasticsearch,由于可以通过sql来实现数据同步，难度和投入都相对较小。于是自己研究了下flink,由于flink-cdc 现在最高支持flink1.13的版本，所有本文使用1.13.5的版本演示部署flink集群。 flink大数据框架，官方推荐了三种集群模式： 1.standalone 2.kubernetes 3.YARN 本文通过standlone+zookeeper构建flink HA Service 项目环境

flink Standalone模式部署

weixin_43044245的博客

12-19

1456

部署前环境准备(基本的环境变量配置这里就不赘述了) jdk8和flink-1.14.0-bin-scala_2.12 我这里准备了四台服务器，分别为node100~node103 将安装包上传至各个服务器上并解压直接进入正题第一步修改flink-conf.yaml配置文件 jobmanager.rpc.address: node100 //JobManager地址 jobmanager.rpc.port: 6123 //JobManagerRPC通信端口 jobmanager.hea

flink StandAlone 单机部署

an13654067079的博客

06-27

391

flink StandAlone 单机部署

flink standalone部署的dockerfile

04-26

flink 独立集群部署的dockerfile、dockercompose文件

Apache Flink连载（十一）：Flink集群部署-Standalone集群部署

qq_32020645的博客

12-12

1163

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理器模式，本小节我们重点讲解Flink 基于Standalone集群。

Flink 1.9.1 Standalone 集群部署.pdf

11-19

本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外，还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰，使读者阅后即可百分百掌握，不留疑问，轻松学习Flink的基础知识，快速上手。

Flink Standalone部署模式

陈小哥cw

06-13

2256

独立模式（Standalone）是部署 Flink 最基本也是最简单的方式：所需要的所有 Flink 组件，都只是操作系统上运行的一个 JVM 进程。独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。另外，我们也可以将独立模式的集群放在容器中运行。 Flink 提供了独立模式的容器化部署方式，可以在 Docker 或者 Kubernetes

Flink：StandAlone模式部署

程序员无羡的博客

04-10

805

Flink：StandAlone模式部署

Flink任务调度原理之TaskManager 与Slots