Flink on yarn 实践

最新推荐文章于 2024-03-28 10:57:21 发布
最新推荐文章于 2024-03-28 10:57:21 发布
阅读量473 收藏
点赞数
分类专栏： Flink 入门到实践 文章标签： Flink yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22222499/article/details/95519743
版权

目录

环境配置

  • yarn环境可用
  • flink-shaded-hadoop-2-uber-2.7.5-7.0.jar 复制到lib目录下
  • 启动Flink

启动

  • 直接提交到yarn上 启动命令
bin/flink run -m yarn-cluster xx.jar     // -c 可以指定启动类
  • 另一种方式在yarn上开辟一个空间，然后在提交这种任务，可以自行尝试
  • 查看效果,点击AM,可以跳转到flink web ui
    在这里插入图片描述

常见报错

yarn-cluster 不能解析,没有复制jar包到lib下

参考资料

Flink on yarn

wending-Y
关注
专栏目录
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-SCALA_2.11
Flink On Yarn实操演示
最新发布
靡不有初，鲜克有终
06-18 574
这课的学习我们基本上了解了flinkonline的一些基本原理，以及相应的一些集群的一些参数配置。通过本节课的学习，我们将去通过一些实际的一些操作，然后来去看flinkonyour的一个集群的具体的一个部署的一个流程。我们接下来看一下这个flinkon娅的一个集群的一个部署。这个的话其实，我们首先检查一下它的一个环境的一个要求。这个环境的一个要求的话是要求他要有hadoop版本的这样的一个2.4.1的以上。它要有HDFS的一个环境，以及hadoop相关的一些依赖包。这几个的话是我们需要在当前的
Apache Flink 进阶教程（四）：Flink on Yarn/K8s 原理剖析及实践
qq_24095055的博客
06-28 544
文章目录Flink 架构概览Flink 架构概览–JobFlink 架构概览–JobManagerFlink 架构概览–TaskManagerFlink 运行时相关组件Flink on Yarn 原理及实践Yarn 架构原理–总览Yarn 架构原理–组件Yarn 架构原理–交互Flink on Yarn–Per JobFlink on Yarn–SessionYarn 模式特点Flink on Yarn 实践Flink on Kubernetes 原理剖析Kubernetes–基本概念Kubernetes–
03-Flink-On-Yarn-开发使用
Eistert
06-28 204
Flink-On-Yarn-开发使用 原理 两种模式 Session会话模式 Job分离模式 操作 1.关闭yarn的内存检查 vim /export/server/hadoop/etc/hadoop/yarn-site.xml <!-- 关闭yarn内存检查 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value&g
Flink v1.12 on YARN
yang1060887552的专栏
10-08 353
版本号说明 Flink v1.12.x hadoop 2.10.x 第1节 YARN环境准备 见《hadoop分布式集群搭建》篇 第2节 安装flink （1）deploy用户登陆hadoop219 （2）上传flink-1.12.1-bin-scala_2.11.tgz 从官网下载：flink-1.12.1-bin-scala_2.11.tgz 上传到/opt/software [deploy@hadoop219 software]$ cd /opt/software/ [
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2305
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
Flink on yarn 的restful api 简单备份实践
qq_31866793的博客
01-15 2646
业务需求： 通过yarn的restful api简单的对提交到yarn的flink任务进行运行状态预警监控。 官方文档地址： Apache Hadoop 3.2.2 – ResourceManager REST APIs. yarn的restful api： 1， 2， 3， 4， 5， 6， ...
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1100
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink on yarn实践中踩过的一些坑
qq_31957747的博客
09-30 2935
Flink on yarn实践中踩过的一些坑 背景 最近公司项目在做实时计算相关，也是使用了flink做实时计算的引擎，是以flink on yarn的方式进行任务的调度，过程中也踩了一些坑，没有完整记录下来，就记录一些自己印象比较深刻的问题或者坑，希望对大家也有所帮助，问题如下： 1、jar包集群lib中管理？ or maven打fat jar？ 2、运行直接报错 Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException:
Flink on Yarn/K8s原理剖析及实践
litlit023的专栏
11-19 821
1. Flink整体架构概览 如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。 JobGraph由source、map()、keyBy()/window()和slink等算子组成。 当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等） 2. Flink架构概览之--JobManager JobManager的架构图如下所示，JobManager的主要功能有：
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
之前一直在网上找社区版hadoop的配置，发现CDH安装直接界面搞定，自动生成配置。供检查学习。
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
flink-1.12-CDH-6.3.2.zip
03-19
flink1.12集成CDH6.3.2，亲测可用
flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar
02-18
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包
flink安装所需要的第三方jar
03-03
flink安装所需要的第三方jar，即flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
大数据开发：Flink on Yarn原理
shuimuzh123的博客
06-07 394
在流计算越来越受到重视的大趋势下，Flink框架受到的关注和重视，可以说是与日俱增，在大数据的学习当中，Flink也成为重要的一块。今天的大数据开发分享，我们主要来讲讲，Flink on Yarn原理。 Yarn架构原理 Yarn模式在国内使用比较广泛，基本上大多数公司在生产环境中都使用过Yarn模式。 Yarn的架构原理如下图所示，最重要的角色是ResourceManager，主要用来负责整个资源的管理，Client端是负责向ResourceManager提交任务。 用户在Clien..
flink on yarn(cdh5.16.2)
sunlang的博客
11-13 486
版本： flink1.10.1 cdh 5.16.2 参考链接： https://www.cnblogs.com/TurboWay/p/13095579.html https://www.cnblogs.com/TurboWay/p/13095579.html
Flink on Yarn - CDH5
baidu_31618421的博客
06-19 1694
本篇文章大概2892字，阅读时间约8分钟根据Flink官网资料，实操CDH5.16.2上配置Flink on yarn，给出了flink on yarn的集成方式和HA的配置方式1文档编...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wending-Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值