Flink on Yarn安装

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量2k 收藏 1
点赞数 1
分类专栏： # Flink 文章标签： flink yarn hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/122486665
版权
本文介绍了如何在已有的Hadoop YARN集群上安装Flink客户端。首先确保Hadoop环境已安装，然后在集群节点中选择一个节点下载并解压Flink 1.13.5版本，配置环境变量，并启动Flink。最后，可以通过YARN的Web UI监控任务提交情况。
摘要由CSDN通过智能技术生成

步骤很简单，既然要基于yarn，前提是hadoop已经安装好了，我们选择hadoop集群的一个节点，安装一个flink客户端即可。我们平时提交任务，包括mr、spark任务等，也会去安装一个spark客户端。

选择一个节点，这个节点通常会用它提交任务。

下载flink

wget http://archive.apache.org/dist/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz

解压

tar -zxvf flink-1.13.5-bin-scala_2.11.tgz

配置环境

export HADOOP_CONF_DIR=/etc/hadoop/conf
export HADOOP_CLASSPATH=`hadoop classpath`

启动一个flink-session

bin/yarn-session.sh -d -s 2 -jm 1024 -tm 2048 -qu [yarn队列名] -nm wordcount

比如这里生成了一个application_1633924491541_2461

进入yarn界面

http://cdh-003:8088/cluster/scheduler

点击对应application。

大数据技术派
关注
专栏目录
订阅专栏
基于Yarn模式安装Flink
zhengzaifeidelushang的博客
05-19 301
tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /moudle vim /moudle/hadoop-3.3.0/etc/hadoop/yarn-site.xml <property> <name>yarn.resourcemanager.am.max-attempts</name> <value>10</value> .
flink on yarn安装
机器之心
09-10 313
备注：不推荐整数版本。
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 2989
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
Flink安装与运行——flink on yarn
热门推荐
雾幻的博客
01-22 1万+
Flink下载地址：https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容） 以下操作请在集群的所有节点进行 解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...
Flink on Yarn安装配置
2301_78038072的博客
03-15 3772
Apache Flink，作为一个开源的分布式处理引擎，近年来在大数据处理领域崭露头角，其独特的流处理和批处理一体化模型，使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍，以及他的安装配置。
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）
m0_58046550的博客
11-29 2199
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）Flink on Yarn模式:一般企业使用，资源管理交由Yarn来管理，做一个简单的单词计算
1.15.0 Flink on Yarn安装并配置cdc
A_single_cat的博客
05-11 2689
下载安装 #下载包 wget https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz #清华镜像 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz --no-check-certificat #解压 tar -zxvf flink-1.15.
大数据-玩转数据-FLINK(Yarn模式)的安装与部署
s_unbo的博客
05-21 2472
在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。内存集中管理模式：在Yarn中初始化一个Flink集群，开辟指定的资源，之后我们提交的Flink Jon都在这个Flink yarn-session中，也就是说不管提交多少个job，这些job都会共用开始时在yarn中申请的资源。
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
Flink on Yarn安装部署
weixin_44697677的博客
04-08 405
flink run -m yarn-cluster -yjm 1024 -ytm 1024 examples/batch/WordCount.jar #作业提交的同时申请资源。flink run examples/batch/WordCount.jar #递交作业。yarn-session.sh -n 2 -tm 800 -s 1 -d #申请资源。1)会话(session)模式。2)分离(per-job)模式。
Flink1.11.2 On Yarn安装部署笔记
Joe_circle的博客
11-26 1821
环境 jdk：jdk-8u144-linux-x64.tar.gz zookeeper：zookeeper-3.4.10.tar.gz hadoop：hadoop-2.8.5.tar.gz flink：flink-1.11.2-bin-scala_2.11.tgz 部署jdk 安装jdk1.6 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ 修改文件名 mv jdk1.8.0_144 jdk1.8 配置环境变量 vim /etc/profi
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7168
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
Flink on yarn的两种部署操作和安装（入门教程）
m0_67144365的博客
05-11 613
Flink on yarn的两种部署操作和安装（入门教程）
大数据最新大数据-玩转数据-FLINK(Yarn模式)的安装与部署_flink安装(2)
2401_84182146的博客
05-04 667
其次，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。在强大的 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。
Flink-Yarn安装及使用
chenlei0520的博客
02-08 1227
在YARN平台上Flink是如何集成部署的
第六章 实时数仓专题之flink on yarn 安装（flink 1.13.1安装包见文末）
qq_27924553的博客
01-04 639
flink on yarn 模式安装 （安装包见文末）
Flink on Yarn高可用集群的安装部署
zhengzaifeidelushang的博客
11-16 887
Flink-1.11.2 on Yarn集群HA高可用部署 Flink on Yarn模式的原理是依靠YARN来调度Flink任务，这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MapReduce和Spark任务，还可以执行Flink任务等。 Flink on Yarn模式在使用的时候可以分为两种： Flink Yarn-session模式：在YARN中提前初始化一个Flink集群，开辟指定的资源，以后Flink任务都提交到这来。这个Flink集群会
大数据-玩转数据-FLINK(Yarn模式)的安装与部署_flink安装
2401_84181253的博客
04-15 639
内存Job管理模式【推荐使用】：在Yarn中，每次提交job都会创建一个新的Flink集群，任务之间相互独立，互不影响并且方便管理。hadoop100,hadoop101,hadoop102，hadoop103,hadoop104 五台虚拟机（虚拟机配置见。将安装包上传到hadoop100 /home/hadoop/apps 目录下，没有则创建它。下载 jdk-8u371-linux-x64.tar.gz。规划安装目录：/home/hadoop/apps。规划数据目录：/home/hadoop/data。
flink on yarn 安装部署
06-28
### 回答1： Flink on Yarn 的安装部署包括以下步骤: 1. 安装 Hadoop 和 Yarn，并确保它们正常运行。 2. 下载 Flink 的 binary release 或者源码编译。 3. 配置 flink-conf.yaml 文件，设置 yarn 集群的相关参数。 4. 启动 Flink on yarn，使用命令: "./bin/yarn-session.sh -n <number of task managers> -jm <jobmanager memory> -tm <taskmanager memory>" 5. 在 Flink web UI 中检查集群状态。 注意：以上步骤仅是大致的安装流程，详细的配置参数和步骤可以参考 Flink 官方文档。 ### 回答2： Flink on YARN是一种分布式运行模式，可以在YARN（Hadoop的资源管理器）上运行Flink作业。下面是安装和部署Flink on YARN的步骤。 1. 准备环境：首先，需要确保所有节点都运行着相同的Hadoop和Flink版本。在所有节点上安装好Hadoop和Flink，并设置好JAVA_HOME、HADOOP_HOME和FLINK_HOME环境变量。 2. 配置YARN：在Hadoop集群上，需要配置YARN以支持Flink on YARN。在yarn-site.xml文件中，需要设置一些参数，如yarn.nodemanager.resource.memory-mb、yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb等，这些参数决定了YARN可以分配的资源。 3. 配置Flink：在Flink的conf/flink-conf.yaml文件中，需要设置一些参数，如jobmanager.rpc.address、jobmanager.rpc.port、taskmanager.memory.process.size和yarn.application-name等，这些参数决定了Flink on YARN可以使用的资源和配置。 4. 部署Flink on YARN：可以使用yarn-session.sh脚本来启动Flink on YARN。首先，需要在Hadoop集群上启动一个Flink集群，然后运行yarn-session.sh脚本，该脚本会向YARN提交一个作业，并启动Flink on YARN会话。可以使用以下命令启动Flink on YARN： ``` ./bin/yarn-session.sh -n <num_task_managers> -tm <tm_memory> -s <slots> -d ``` 其中，num_task_managers指定了需要启动多少个TaskManager实例，tm_memory指定每个TaskManager实例可用的内存，slots指定每个TaskManager实例可以运行的任务数，-d表示该会话将在后台运行。 5. 运行Flink on YARN作业：在Flink on YARN会话中，可以使用Flink命令行工具或Web UI提交和管理作业。可以使用以下命令提交Flink作业： ``` ./bin/flink run -m yarn-cluster -ynm <job_name> <jar_file> <program_args> ``` 其中，-m yarn-cluster指定了作业管理器运行在YARN集群上，-ynm指定作业名称，jar_file指定要运行的JAR文件，program_args指定该程序的参数。作业将会被提交到YARN集群，并由Flink on YARN管理器分配任务并运行。 以上就是部署Flink on YARN的步骤，通过这种方式，可以更好地利用Hadoop集群的计算资源，以及Flink的高性能计算能力。同时，也可以通过管理器的监控和管理功能，更加方便地调试和管理Flink应用。 ### 回答3： Apache Flink是一个流处理引擎，可以在大数据环境中进行流式数据处理，支持高容错性和高吞吐量。而Apache Hadoop YARN是Apache Hadoop生态系统中的资源管理器，可用于管理计算资源。 Flink on YARN是将Flink集成到YARN中，以便更好地管理Flink作业的资源和调度。下面我将介绍如何安装和部署Flink on YARN。 首先，我们需要准备以下环境： 1. 安装Hadoop（版本必须与Flink相同）。 2. 在Flink官网上下载Flink二进制文件。 接下来，我们将进行以下步骤： 1. 将Flink二进制文件复制到YARN节点上。 2. 编辑Flink的yarn-site.xml文件。该文件位于Flink/conf目录下。在文件中，我们需要配置以下属性： a. yarn.application.classpath：指定Flink作业所需的依赖项。 b. yarn.application-attempts：指定Flink作业的重试次数。 c. yarn.resourcemanager.scheduler.address：指定YARNResourceManager的地址。 3. 启动Flink on YARN。输入以下命令即可启动： ./bin/yarn-session.sh -n <Number of TaskManager> -jm <Job Manager Memory> -tm <TaskManager Memory> 其中，-n指定TaskManager数量，-jm指定JobManager内存，-tm指定TaskManager内存。 4.使用Flink on YARN提交作业。输入以下命令即可提交作业： ./bin/flink run -m yarn-cluster <Flink Pipeline Jar> 其中，-m指定作业管理器的地址。yarn-cluster指定以YARN模式运行作业。 以上就是Flink on YARN的安装和部署过程。在这个过程中，我们需要了解Flink和YARN的结合方式，以便更好地管理Flink作业。Flink on YARN可以帮助我们轻松地管理和部署Flink作业，提高作业的可靠性和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值