【Flink on YARN 部署(上)】Flink on YARN 理论概念

最新推荐文章于 2022-07-03 11:46:21 发布
最新推荐文章于 2022-07-03 11:46:21 发布
阅读量641 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34886518/article/details/89460629
版权
本文介绍了Flink在YARN上的部署方式，包括yarn-session.sh和flink run两种模式。详细阐述了YARN的重要概念如ResourceManager、NodeManager、ApplicationMaster和Container，以及Flink在YARN上的分布和提交流程，帮助理解Flink如何与YARN协同工作。
摘要由CSDN通过智能技术生成

文章目录

前言

将Flink 提交在 YARN 上是企业的一种常用做法，这样做的目的是为了提高集群的利用率。

Flink on YARN 有2种部署方式

  • 【yarn-session.sh开辟资源+ flink run】(这样的话，Flink cluster 会常驻)

  • 【flink run -m yarn-cluster(开辟资源+提交任务】 (每次提交，都会创建一个新的Flink 集群，任务之间相互独立)

    image-20190424205427226

此文旨在阐述，Flink 提交 YARN 的过程。

Flink on YARN

YARN中一些重要的概念

ResourceManager
  • 每个集群只会有一个ResourceManager（如果是HA的话会存在两个，但是有且只有一个处于active状态），它负责管理整个集群的计算资源，并将这些资源分别给应用程序。ResourceManager 内部主要有两个组件：
    • Scheduler:这个组件完全是插拔式的，用户可以根据自己的需求实现不同的调度器，目前YARN提供了FIFO、容量以及公平调度器。这个组件的唯一功能就是给提交到集群的应用程序分配资源，并且对可用的资源和运行的队列进行限制。Scheduler并不对作业进行监控&#
最低0.47元/天 解锁文章
Gavin_周
关注
专栏目录
Flink on yarn模式部署
litlit023的专栏
02-02 2931
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2805
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
深入理解Hadoop YARN中的Container概念
Mac Track
12-22 7543
在学习Hadoop  YARN—Hadoop 2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。它与Linux Container是什么关系，它是否能像Linux Container那样为任务提供一个隔离环境?它代表计算资源，还是仅仅是一个任务处理进程？本文将尝试介绍Container这一概念。
Flink入门到放弃
瑞瑞的博客
01-29 340
简介 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 https://flink.apache.org/zh/# 快速上手 准备 pom.xml <properties> <flink.version>1.12.0</flink.version> <java.version>1.8</java.ve
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3658
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
flink on yarn 模式
大数据
07-03 719
flink2中模式启动方式及其概念
flink的两种yarn模式
First_____的博客
11-26 2412
         Flink on Yarn模式部署始末：Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式者居多。          那么使用on yarn模式到底好在哪呢？     &...
flink on yarn部署
AttributeSet的博客
04-21 2768
官网下载对应的版本 flink版本-1.13.6 hadoop版本-3.2.1 步骤： 首先安装jdk 1、配置hosts vi /etc/hosts 例如： 192.168.0.1 flink1 192.168.0.3flink2 192.168.0.3flink3 2、防火墙关闭 firewall-cmd --state # 查看是否running systemctl stop firewalld #停止firewall systemctl disable fire...
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2316
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
关于Flink 本地测试，自定义WebUI 端口的方法
SuCicada 小米的蝉
09-09 6914
以1.11.1版本举例，相差不大的版本之间大同小异。 当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers
Flink防火墙开启状态下的端口问题
qq_31866793的博客
12-14 1916
1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口timeout ,实际也是关闭防火墙的情况下，集群可以正常运行。 2，查询官方之后，跟查询源码后，开放端口 在flink-conf.yaml： taskmanager.rpc.port: 50100-50200 metrics.internal.query-service.port: 50201-50300 blob.server.port: 50301-50400 还有默认的端口 8081 6123等端口 ...
Flink常用指令及端口
qq_18629653的博客
10-05 7144
启动flink ./start-cluster.sh 关闭flink bin/stop-cluster.sh 查看当前运行的任务 bin/flink list 查看所有的任务 bin/flink list --all 停止当前任务 bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2 提交任务 bin/flink run -c com.offcn.wordCount.wordCountJava /root/flinkJar/FlinkDeno-1.0-SNAPS
Hadoop：Flink on Yarn服务配置与设置
weixin_43887421的博客
10-27 2391
之前打算直接在ambari上安装配置flink服务方便管理，但是发现ambari集成的flink会出现很多问题反而不方便管理（可能是没找到正确的方法），于是打算单独配置服务 下载两个文件文件 flink-1.10.1文件：https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz Hadoop依赖包：https://repo.maven.apache.org/maven2/org/apache/flin
Flink任务提交给Yarn，为何web界面只有一个Taskmanager？
piaoken5588的博客
03-18 5573
使用yarn-session在yarn集群上启动一个flink集群： ./yarn-session.sh -n 4 -jm 1024 -tm 1024 -s 2 此时，在master:8088的界面看到多了一个application，但是running containers数量为1；【为何不是分配的4】 然后，继续在yarn上提交flink的jar包运行： ./flink run -p...
flink部署操作-flink on yarn集群安装部署
热门推荐
大数据技术博客
03-16 5万+
flink集群安装部署 yarn集群模式 Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e 快速开始 在yarn上启动一个一直运行的flink集群 在yarn上运行一个flink job flink yarn session 启动flink ses...
Flink最全的集群部署攻略（推荐yarn实现企业级部署）
程序员小王的博客
04-15 1万+
flink单机部署模式，不管是学习还是开发尽量不使用，flink自带集群部署，资源管理由flink集群管理，使用zookeeper监听事件，实现独立高可用集群，防止集群的单点故障，推荐开发环境测试使用，flink on yarn: 把资源管理交给yarn实现，计算机资源统一由Haoop YARN管理，推荐生产环境使用。
flink On Yarn模式
暮紫的笔记本
03-03 424
flink On Yarn模式 一、准备工作 机器 10.0.3.149(master) 10.0.3.147(slave1) 基本环境准备： JDK1.8 以上的版本,同时需要配置环境变量 JAVA_HOME。 ssh 服务安装并启动 安装包和依赖包 flink的安装包：flink-1.11.2-bin-scala_2.11.tgz https://www.apache.org/dyn/closer.lua/flink/flink-1.11.2/flink-1.11.2-bin-scal
Flink比Spark香在哪？
a934079371的博客
09-30 147
1 Flink介绍Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台。和Spark类似，两者都希望提供一个统一功能的计算平台给用户，都在尝试建立一个统一的平台以运行批...
flink on yarn如何部署，支持高可用吗
最新发布
05-19
Flink on Yarn 是 Apache Flink 的一种部署方式，可以在 Hadoop Yarn 上运行 Flink 应用程序。部署 Flink on Yarn 的主要步骤如下： 1. 安装 Hadoop 和 Yarn：在部署 Flink on Yarn 之前，需要先安装 Hadoop 和 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值