Flink on yarn执行Wordcount

最新推荐文章于 2022-11-16 00:24:56 发布
最新推荐文章于 2022-11-16 00:24:56 发布
阅读量1.7k 收藏 8
点赞数
分类专栏： docker 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44546992/article/details/112494277
版权

Flink on yarn执行Wordcount

一、写在前面

以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。

二、实验环境

在这里插入图片描述

  • 本机：win 10 专业版；
  • WSL：Ubuntu 20.04 TS；
  • docker：19.03
  • Hadoop：2.7.4
  • zookeeper：3.4.9
  • Flink：1.7.2

三、两种在 yarn 上运行的模式

3.1 Session-cluster 模式

Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一 块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到 yarn 中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作 业共享 Dispatcher 和 ResourceManager；共享资源；适合规模小执行时间短的作业。
在这里插入图片描述

执行步骤

最低0.47元/天 解锁文章
想拥有一片海
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink基础系列8-Flink on yarn运行wordcount程序
只是甲的博客
10-15 1万+
文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考 环境介绍 测试服务器CDH 6.3.1版本安装Flink 1.9版本。 hello.txt文件 hello word hello hdfs hello mapreduce hello yarn hello hive hello spark hello flink 一.Maven配置 Flink依赖的配置 <dependency> <groupId&
05-flink-1.10.1-flink on yarn 流处理WordCount
m0_37813354的博客
08-31 330
1 启动相应服务 ① 启动 hdfs ,启动yarn ② 事先部署好flink 2 打包WordCount代码成jar包 3 上传打包好的jar到客户端机器 4 flink on yarn 4.1 session cluster Session-cluster模式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间，资源永远保持不变，如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交，所有作业共享...
Flink的安装部署及WordCount测试
weixin_45399602的博客
09-19 2382
一、本地模式 在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用) 下载地址：https://flink.apache.org/downloads.html 这里下载的是：flink-1.13.0-bin-scala_2.12.tgz 上传到常用的位置，然后解压。 启动： 切换到flink的bin目录下，执行./start-cluster.sh，然后查看进程。 二、Standalone 独立集群模式 (如果先做了第一步，记得先停止服务，stop-cluster.sh) 上传、解压tar包。
想了解流计算？你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount计算任务
Chad_it的博客
10-23 726
想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
Flink系列文章 java实现增量文件WordCount，任务部署到yarn
wangxudongx的专栏
03-04 1960
Flink系列文章 java实现增量文件WordCount，任务部署到yarn我们的目标FileWindowWordCount引入依赖码代码在IDE里运行看下效果 Apache Flink® - 数据流上的有状态计算 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 ...
Flink安装-简介.docx
07-30
2. **执行 WordCount**：使用 Flink 的命令行客户端，运行以下命令： ``` ./flink run ../examples/streaming/WordCount.jar --input /iflytek/flink-1.10.1/bin/1.txt --output /iflytek/flink-1.10.1/bin/2.txt ...
Flink超神文档.pdf
01-29
- **运行流程**: Flink on YARN 模式下，Flink 任务通过 YARN 进行资源分配和管理。 - **Flink on YARN 两种运行模式**: - **yarn-session模式**: 先启动 YARN session，然后提交 Job 到该 session 中。 - **Run a...
flink介绍及安装部署
最新发布
02-07
3. **Flink on YARN**：将资源管理交由 Hadoop YARN 实现，适用于大规模生产环境。 #### 五、Flink安装步骤 ##### 1、环境准备 - **Java环境**：确保安装 JDK 1.8 版本。 - **Flink安装包版本**：推荐使用 `flink-...
flink-learn：学习Flink
01-28
1：单独资源： flink run -m yarn-cluster --yarnname _wc -p 5 -yjm 1024 -ytm 1024 -ys 2 WordCount.jar 2：共享空间： yarn-session.sh -n 5 -jm 1024 -tm 1024 -s 2 // 在yarn提前开辟一个资源空间 application_...
flink中文教程.zip
03-02
- **WordCount**：经典的单词计数示例，展示Flink如何处理文本流并计算每个单词出现的次数。 - **TumblingWindow Aggregation**：演示如何利用时间窗口对流数据进行聚合操作。 - **Event Time Processing**：展示...
Flink 集群搭建(基于flink on YARN模式)
天涯芳草
04-23 6137
基于Flink on YARN的flink集群规划 主机名 IP 说明 centoshadoop1 192.168.227.140 StandaloneSessionClusterEntrypoint(主节点进程名称) centoshadoop2 ...
Flink-经典案例WordCount快速上手以及安装部署
m0_46507516的博客
11-16 1180
Flink快速上手以及安装部署
Flink安装与运行——flink on yarn
热门推荐
雾幻的博客
01-22 1万+
Flink下载地址：https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容） 以下操作请在集群的所有节点进行 解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...
Flink1.13.2三种方式安装部署
逆流而上Mr李
09-22 9839
有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。 以下教程全部使用 Flink1.13.2版本，在普通用户下面部署： 1、Standalone部署 版本要求： 版本 节点 部署方式 flink-1.13.2-bin-scala_2.11.tgz 192.168.244.129 standalone 1.1 将软件安装包放入集群中 1.2、软件包解压 tar -zxvf flink-1.13.2-bin-scala_2.11
flink 任务提交问题汇总
xiaobai_gongzi的博客
02-04 9069
flink 任务提交问题汇总1、提交flink自带任务WordCount.jar遇到的问题： 1、提交flink自带任务WordCount.jar遇到的问题： - 问题描述： 最近在提交flink项目example下WordCount.jar批处理任务时遇到以下问题： The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the
Flink实现WordCount（实操详细步骤）
bboy枫亭的博客
08-10 7113
本文使用 Flink 的两种方式实现 WordCount 基于流计算 基于批计算 文章目录1. Idea 新建 Maven 项目并配置以下依赖2. 实现代码及详细注释2.1 Flink 基于流计算实现 WordCount2.2 Flink 基于批计算实现 WordCount2.3 附件：完整代码 先说一下我的环境： Flink 1.9 开发工具：Idea Maven版本：3.3.9 Linux：CentOS 7 演示语言：Scala 2.11 1. Idea 新建 Maven 项目并配置以下依赖 &lt
Flink ON YARN
libaowenBlog的博客
08-20 3982
Flink ON YARN 模式就是使用客户端的方式，直接向Hadoop集群提交任务即可，不需要单独启动Flink进程。
Flink安装及WordCount实例yarn-cluster提交
heccxx的博客
11-19 1678
flink flink（基于数据流上的有状态计算） flink的特点： 事件驱动型 事件驱动型应用是一类具有状态的应用，它从一个或多个事件六提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。（SparkStreaming是微批次，将批次更加微小化） 实时流处理 批处理的特点是有界、持久、大量。非常适合需要访问全套记录才能完成的计算工作，一般用于离线计算。 流处理的特点是无界、实时...
Flink实现WordCount
行人事，知天命
04-14 4277
import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.tuple.Tup
cdh flink on yarn
08-17
根据引用中的信息，CDH5.16.2上配置Flink on yarn可以通过flink官网提供的集成方式和HA配置方式来进行。具体的配置方式可以参考官方文档来完成。此外，根据引用中的信息，使用flink的web ui可以重新访问flink on yarn ha测试完成后。如果要提交任务到CDH flink on yarn上，可以使用引用中提供的命令：`./bin/flink run -m yarn-cluster -yid application_1589377449274_0645 ./examples/batch/WordCount.jar`。这个命令会将任务提交到指定的yarn-session上。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Flink on Yarn - CDH5](https://blog.csdn.net/baidu_31618421/article/details/106866551)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值