Flink:Yarn-Session 启动

最新推荐文章于 2024-07-18 12:48:04 发布
最新推荐文章于 2024-07-18 12:48:04 发布
阅读量2.9k 收藏
点赞数
分类专栏： flink 文章标签： flink hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012566690/article/details/108298689
版权
本文档介绍了在自己搭建的Flink单机版本上，如何解决在Flink on Yarn过程中遇到的问题。启动失败主要是由于环境变量未正确设置。步骤包括：1) 下载并编译Flink源码，检查启动日志解决内存不足问题；2) 安装并配置Hadoop，启动单机Hadoop集群，并通过jps检查进程。遵循这些步骤，祝你好运。
摘要由CSDN通过智能技术生成

背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
包括

  1. GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message

主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程

##1. 参照文档，下载&&编译flink 源码,这个时候，start_cluster.sh应该是好用的，如果不能正常启动，去bin 目录下查看启动日志，我遇到过机器内存不足的。需要把conf/flink-conf.yaml里的内存配置改小之后再重新启动单机版Flink，如果还不行，自行谷歌解决吧

##2. 下载hadoop,然后解压，配置环境变量

# 先vim ~/.bash_profile，然后ex
最低0.47元/天 解锁文章
Lonie233
关注
专栏目录
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 401
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1368
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Flink 启动 yarn-session.sh
qq_40471761的博客
07-20 4597
1.内存不足 启动命令 bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 解决办法：将 hadoop 的检查虚拟内存关闭掉 在yarn-site.xml 中添加 <property> <name>yarn.nodemanager.vmem-check-enabled</name> ...
yarn-session模式提交flink任务步骤
最新发布
仗剑执天涯的专栏
07-18 790
bin/bash # # 清理一下结果文件夹的数据 hadoop fs -rmr hdfs://namenode_host/flink_test/result/ ./bin/flink run ./examples/batch/WordCount.jar \ --input hdfs://namenode_host/flink_test/data/ \ --output hdfs://namenode_host/flink_test/result/每个session都可以运行多个Flink应用。
flink1.10三节点集群之yarn-session模式
ASN_forever的博客
05-19 1万+
提前搭建Hadoop集群环境，可以参考这篇文章。 本文章的集群环境： 机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章 启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...
1.flink的yarn-session环境
流月up的博客
10-18 396
在hadoop环境安装好之后,需要一个yarn-session环境来跑flink任务,此篇任务是在hadoop yarn环境上部署一个flink yarn-session环境,flink 1.17.1版本相关文章聚合链接。
flink.5 在yarn上运行
笔生花的博客
08-05 1306
一:Session Mode 运行任务 Session Mode运行jar有两个过程, 一是在yarn建立一个flink集群. 二:集群建立成功之后,提交任务. 1.1Session Mode 建立一个flink集群 有两种模式: 附加模式attached mode (default): client提交任务到flink-cluster上,之后客户端会继续运 行,并且会追踪集群状态.如果集群失败,则客户端会显示错误信息,如果客户端关闭,也会向flink-cluster发送关闭的信号,关闭集群. 下面
【Flink】SQL-Client运行yarn-session模式
lsr40的博客
02-01 8625
flink有个sql-client.sh （如下的图，是从flink官网截图下来的） 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/sqlClient.html 具体如何配置sql-client和各种框架集成， 我就不搞了，大家有兴趣研究下官网或者百度下，我就试了下集成hive 具体如何配置，请看以下文章！ flink 1.11.2-sql-client 集成hive：htt..
flink on yarn启动session 指定队列
weixin_31437187的博客
06-28 110
配置相关视频讲解：C语言程序设计入门之环境安装Flink on Yarn启动Session指定队列教程 一、整体流程 下面是启动Flink on Yarn Session并指定队列的步骤： 步骤 描述 1 准备Flink程序jar包和配置文件 2 启动Yarn集群 3 提交Flink on Yarn...
Flink on Yarn模式启动流程分析
虎头茉莉的专栏
06-24 794
Flink On Yarn 架构 Flink Cluster on Yarn启动过程中，大体可以分为二个阶段 1. Filnk Client发起请求，申请启动Flink Cluster on Yarn 2. Yarn RM接收请求，并指定NM分配Container启动Flink Cluster. (需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ，H...
通过Flink YARN Session来运行任务
zg_hover的专栏
10-11 4775
通过Flink YARN Session来运行任务 本文先介绍Flink YARN Session的基本概念，并介绍如何启动Flink Session，并通过它来运行任务。 简介 Apache Hadoop YARN是一个集群资源管理框架。可以在它之上运行各种分布式应用。在其他应用运行时，Flink也可以运行在其上。 在Flink YARN Session启动时会按配置或参数来申请资源，并会启动Flink的基础服务：JobManager和TaskManagers。这样，就可以向它提交Flink应用了；每个s
hadoop 3.x 案例4:Flink启动yarn session问题
只是甲的博客
12-15 1277
Flink 启动yarn session报错 Flink zookeeper配置 Flink 端口号
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
a18852867035的博客
10-14 1108
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
热门推荐
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
flink on yarn的会话模式中yarn-session.sh 参数
JustinMars的博客
07-19 1218
是 Apache Flink 在 YARN（Hadoop 的资源管理系统）上启动 Flink 会话（Session）的脚本。通过这个脚本，你可以在 YARN 上提交 Flink 任务，并在一个长时间运行的会话中执行多个作业。: 指定要在 YARN 上启动的 TaskManager 容器数量，也就是执行 Flink 任务的资源数量。: 指定 JobManager 容器的内存大小，以MB为单位。: 指定每个 TaskManager 容器的内存大小，以MB为单位。: 启动作业时可以指定特定的应用程序选项。
Flink on Yarn集群搭建（三）--- Flink集群搭建 Session Cluster模式
qq_35136754的博客
01-10 1409
flink on yarn session cluster 会话模式
Flink on yarn搭建及其俩种启动方式
weixin_52731998的博客
03-23 3577
文章目录关闭独立集群配置HADOOP_CONF_DIR判断是否生效上传依赖启动方式 flink on yarn只需要在一个节点上部署即可 关闭独立集群 stop-cluster.sh 配置HADOOP_CONF_DIR vim /etc/profile export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/ 注意：这里前面的export必须得加上，因为加上就是适用于全局，之前我们不加是因为要在下面的PATH里面引用 最后大家
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7194
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
flink提交有几种模式 yarn-session模式 Application模式 Per-Job模式（生产中一般用这个，因为不论是监控还是提交都很方便，一个任务yarn分配一次） 详细解释
05-18
Flink 提交作业的三种模式： 1. Yarn-session 模式：在该模式下，Flink 集群与YARN 集成，即 Flink 集群在 YARN 上启动，并在其中开启一个长期运行的会话（Session），可以重复提交多个 Flink 作业。 2. Application 模式：在该模式下，每次提交 Flink 作业都会启动一个新的 YARN 应用程序，Flink 集群和 YARN 集成。 3. Per-Job 模式：在该模式下，每次提交 Flink 作业都会启动一个新的 YARN 应用程序，Flink 集群和 YARN 集成。与 Application 模式不同的是，Per-Job 模式下每次提交的作业都是一个独立的应用程序，即每个任务只分配一次资源，适用于生产环境中的任务提交，可以更方便地监控和管理每个作业。 总的来说，Yarn-session 模式适用于需要交互式查询和开发的场景，而 Application 模式和 Per-Job 模式适用于生产环境下的批处理和流处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值