20-190-092-安装-Flink集群安装 flink-1.9.0 On Yarn

最新推荐文章于 2022-01-25 14:09:37 发布

九师兄

最新推荐文章于 2022-01-25 14:09:37 发布

阅读量603

点赞数

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/104814169

版权

大数据-flink 专栏收录该内容

839 篇文章 855 订阅 ¥99.90 ¥299.90

订阅专栏

这篇博客详细介绍了如何在Yarn上部署Flink 1.9.0集群，包括在三台机器上解压配置环境变量、设置配置、配置子节点、跨机器分发、启动集群以及通过http://192.168.90.52:8082/#/taskmanagers进行访问。

摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

1. 解压配置环境变量

三台机器每台都执行


tar -zxvf flink-1.4.0-bin-hadoop27-scala_2.11.tgz 
ln -s flink-1.4.0 flink

# 配置环境变量
vi ~/.bash_profile 
export FLINK_HOME=/opt/third/flink
export PATH=$FLINK_HOME/bin:$PATH

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【Flink实战系列】Flink 1.9.0 on yarn 集群搭建过程报错

JasonLee实时计算

09-05

1651

Flink 1.9.1 Standalone 集群部署.pdf

11-19

本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外，还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰，使读者阅后即可百分百掌握，不留疑问，轻松学习Flink的基础知识，快速上手。

参与评论您还未登录，请先登录后发表或查看评论

windows安装部署flink-1.9.0

liaomingwu的专栏

01-25

993

windows安装部署flink-1.9.0

flink on yarn部署

lixgjob的博客

12-18

1202

## flink on yarn部署 flink on yarn需要的组件与版本如下 1. Zookeeper 3.4.9 用于做Flink的JobManager的HA服务 2. hadoop 2.7.2 搭建HDFS和Yarn 3. flink 1.3.2 或者 1.4.1版本（scala 2.11） Zookeeper, HDFS 和 Yarn 的组件的安装可以参照网上的教程。在zoo...

Flink 1.9部署

zhuwendong777的博客

09-29

947

一、安装包下载 https://www.apache.org/dyn/closer.lua/flink/flink-1.9.0/flink-1.9.0-bin-scala_2.11.tgz 二、环境

Flink1.9系列-Flink on Yarn配置篇

枫叶的落寞的博客

08-28

3100

Flink on yarn模式运行任务时，flink本地的一些配置事项

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz

11-14

《Flink与Hadoop3.x兼容性解析》在大数据处理领域，Apache Flink和Apache Hadoop是两个不可或缺的关键组件。Flink以其低延迟、高吞吐量的流处理能力而受到广泛赞誉，而Hadoop则以其分布式存储和计算框架闻名。然而...

【记录】CDH5.12.1集成Flink1.9.0，并实现cm5.12.1监控flink

遇事不决问春风

09-30

2259

写在前头：最近在CDH上集成flink，现在新版本的CDH6.3以上的，官网有提供parcel跟csd文件，但是我们使用的是CDH5.12.1，还是比较老的版本，所以要自己编译。在这期间搜集了不少资料，但是没有一篇详细的文章是从flink编译=>生成csd、parcel文件=>集成cm这一整套流程完整走下来的。因此我整理了之前收集的资料，并把自己在安装过程出现的问题也整理了出来。希望对大家有所帮助一、安装准备我使用的软件版本： Hadoop 2.6.0-cdh5.12.1 Apache Ma

Flink-跟着问题读源码：提交作业时未返回yarn applicationId

三石

08-17

1096

问题描述在公司做flink实时计算平台时，需要将flink jar提交到yarn上后获取applicationId，以此来处理后续的状态控制。但是在升级flink1.9.0到flink1.10.1后，突然无法从日志中解析得到applicationId了。方案很有意思，最后验证表明，服务端日志和客户端日志可以采用两套日志体系，首先client代码我们公司都是使用logback的，于是，当 1、Server端为logback时，即/lib下的包为logback-classic-1.2.3.jar、logb

flink部署操作-flink on yarn集群安装部署

热门推荐

大数据技术博客

03-16

5万+

flink集群安装部署 yarn集群模式 Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e 快速开始在yarn上启动一个一直运行的flink集群在yarn上运行一个flink job flink yarn session 启动flink ses...

Flink安装与运行——flink on yarn

雾幻的博客

01-22

1万+

Flink下载地址：https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容）以下操作请在集群的所有节点进行解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...

Flink大数据项目实战

01-18

本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。

Flink-1.9.0 Standalone集群搭建

孙大圣的博客

08-30

3845

环境节点ip及映射 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 这里master为flink主节点其它为子节点搭建步骤 1.下载flink 通过官网https://flink.apache.org/downloa...

Flink-1.9.3集群(standalone)环境部署

xuen_zhang的博客

06-15

595

Flink集群(standalone)环境部署 2020/6/11 by xuewen.zhang@myt11.com 版本信息 JDK 1.8.0_191-b12-1 Flink 1.9.3 Hadoop 3.1.1 环境准备 wget 检查wget是否已安装，安装命令yum -y install wget 环境变量检查java环境变量(echo $JAVA_HOME) 集群免密客户端生成密钥，完成后复制密钥： >ssh-keygen -t rsa -P "" >c

Flink集群安装和部署之Flink On Yarn

chbxw

06-21

7193

文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster） Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had

Flink on Yarn高可用集群的安装部署

zhengzaifeidelushang的博客

11-16

891

Flink-1.11.2 on Yarn集群HA高可用部署 Flink on Yarn模式的原理是依靠YARN来调度Flink任务，这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MapReduce和Spark任务，还可以执行Flink任务等。 Flink on Yarn模式在使用的时候可以分为两种： Flink Yarn-session模式：在YARN中提前初始化一个Flink集群，开辟指定的资源，以后Flink任务都提交到这来。这个Flink集群会

Flink之三 flink on yarn

追赶者的博客

02-04

3083

Flink的运行模式 flink的运行模式有local模式，cluster，yarn等模式;flink集群层次结构这一节我们主要一起了解flink on yarn 模式，flink on yarn 有两种模式：一：long-running Flink cluster on YARN 二： run a Flink job on YARN

Flink集群部署详细步骤

香菇的博客

07-28

1万+

1.下载Flink压缩包下载地址：http://flink.apache.org/downloads.html。我集群环境是hadoop2.6，Scala2.11版本的，所以下载的是： flink-1.3.1-bin-hadoop26-scala_2.11.tgz。 2.解压上传至五个节点的相同目录，执行如下命令解压： tar xzf flink-1.3.1-bin-ha...