flink on yarn部署

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27710549/article/details/80696932
版权
本文介绍了在Hadoop 2.7.2环境下，使用Zookeeper 3.4.9和Flink 1.3.2进行Flink on Yarn的部署步骤。首先确保Zookeeper、HDFS和YARN组件正确安装，然后设置相关环境变量，配置flink-conf.yaml文件。接着启动Yarn-Session，并提交Flink任务。通过YARN UI可以监控Flink应用的运行状态和详细信息。
摘要由CSDN通过智能技术生成

flink on yarn部署

flink on yarn需要的组件与版本如下

  1. Zookeeper 3.4.9 用于做Flink的JobManager的HA服务
  2. hadoop 2.7.2 搭建HDFS和Yarn
  3. flink 1.3.2 

Zookeeper, HDFS 和 Yarn 的组件的安装可以参照网上的教程。

在zookeeper，HDFS 和Yarn的组件的安装好的前提下，在客户机上提交Flink任务，具体流程如下：

  • 在启动Yarn-Session 之前， 设置好HADOOP_HOME,YARN_CONF_DIR ， HADOOP_CONF_DIR环境变量中三者的一个。如下所示， 根据具体的hadoop 路径来设置
   $ export HADOOP_HOME=/usr/local/hadoop-current
  • 配置flink 目录下的flink-conf.yaml, 如下所示
最低0.47元/天 解锁文章
qq_27710549
关注
专栏目录
Flink on yarn模式部署
litlit023的专栏
02-02 2912
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2309
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
Flink on Yarn部署
DataFlow范式
09-22 8288
环境信息：Hadoop版本：2.6.0Flink版本：1.1.2 快速部署Flink on Yarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.      下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop集群版本为2.6.0，Flink的Binary包是包含Yarn客户端
【Flink】Flink部署
qq_43744420的博客
08-29 1328
Flink部署模式、会话模式、单作业模式、应用模式、Yarn、独立模式
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 2997
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
Flink on Yarn模式部署
陈小哥cw
06-17 7981
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
Flink on yarn的部署
weixin_44835472的博客
12-17 496
1.环境变量配置 若要在Yarn上运行Flink应用，必须事先告诉Flink和yarn有关的配置。需要怎么告诉Flink呢？ 提交Flink任务的client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则提交任务会失败。 2.提交Flink任务到yarn的两种方式 同时启动Yarn applicatio...
Flink On Yarn应用部署
u011563666的博客
07-16 593
以 Yarn 模式部署 Flink 任务时，要求 Flink 是有 Hadoop 支持的版本， Hadoop环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务 Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。 1.Session-cluster模式 该模式会先在yarn集群中启动一个Flink集群，然后再提交作业，相当于所有Flink应用共享一个集群。具体使用步骤如下： 1）启动yarn-session ./y
flink on yarn集群部署
gamespiay123的博客
08-11 848
flink on yarn集群部署
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2787
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
flink on yarn 部署方案
sunxunyong的博客
06-12 1066
FLINK ON YARN 3种部署方式：在生产中建议使用 Per-job 或 Application Mode 模式部署 Flink 应用程序，这些模式为应用程序提供了更好的隔离.一个任务启动一个Flink集群, 各个 Flink 集群之间独立运行, 互不影响, 而且每个集群可以单独进行配置。1、Application Mode （应用模式）
hdfs通过接口退出安全模式_flink的yarn模式部署
weixin_39591455的博客
11-26 371
1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...
Flink 部署
热门推荐
mengxianglong123的博客
03-26 1万+
这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的， 一、快速启动一个 Fli.
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7170
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
flink on yarn 安装部署
06-28
Flink on Yarn 的安装部署包括以下步骤: 1. 安装 Hadoop 和 Yarn，并确保它们正常运行。 2. 下载 Flink 的 binary release 或者源码编译。 3. 配置 flink-conf.yaml 文件，设置 yarn 集群的相关参数。 4. 启动 Flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值