95-230-026-源码-WordCount走读-本地运行SubmitJob的过程

于 2020-07-03 19:05:38 发布
阅读量461 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105748401
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细走读了Hadoop WordCount程序在本地运行时提交Job的过程，从创建MiniClusterConfiguration、启动MiniCluster，到执行任务和创建JobManagerRunner的每个步骤。通过分析代码，深入理解Hadoop作业提交的内部机制。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2. 概述

3. 前文回顾

在前面 WordCount走读-获取JobGraph.md 中讲解了如何获取JobGraph，下面是继续执行

org.apache.flink.streaming.api.environment.LocalStreamEnvironment#execute

代码如下

@Override
public JobExecutionResult execute(StreamGraph streamGraph) throws Exception
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink项目启动报错
sinat_24296421的博客
02-10 1146
参考博客：https://blog.csdn.net/qq_43048011/article/details/85625959 Flink项目启动报以下错误 Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed. at org.apache...
Apache Spark源码走读之2 -- Job的提交与运行
笔尖的痕的专栏
12-23 903
概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1安装scala安装sbt安装java 启动spark-shell 单机模式运行，即local模式 local模式运行非常简单，只要运行以下命令即可，假设当
MapReducer编程之WordCount运行流程源码解读
Hager930的博客
01-14 223
MapReducer编程之WordCount运行流程源码解读 1、数据是如何读取进来的 查看源码Mapper.java 如下： package org.apache.hadoop.mapreduce; import java.io.IOException; import org.apache.hadoop.classification.InterfaceAudience; import org...
Spark环境搭建-转自徽沪一郎
xiaohang20103的专栏
04-07 783
Apache Spark源码走读之2 -- Job的提交与运行 欢迎转载，转载请注明出处，徽沪一郎。 概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1安装scala安装sbt安装java 启动spark-she
Apache Spark源码走读（一）Spark论文阅读笔记&Job提交与运行
weixin_33713503的博客
09-14 137
<一>Spark论文阅读笔记 楔子 源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。 在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个...
从零开始学习，Apache Spark源码走读（一）
wu_xiaolei的专栏
05-22 848
概要 本文以wordCount为例，详细说明Spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1安装scala安装sbt安装java 启动spark-shell 单机模式运行，即local模式 local模式运行非常简单，只要运行以下命令即可，假设当
追源索骥：透过源码看懂Flink核心框架的执行流程
沧海笑007
12-22 800
https://www.cnblogs.com/bethunebtj/p/9168274.html写在最前：因为这篇博客太长，所以我把它转成了带书签的pdf格式，看起来更方便一点。想要的童鞋可以到我的公众号“老白讲互联网”后台留言flink即可获取。追源索骥：透过源码看懂Flink核心框架的执行流程flink...
spark笔记spark优化
qq_36864672的博客
12-25 1933
基本概念(Basic Concepts) RDD - resillient distributed dataset 弹性分布式数据集 Operation - 作用于RDD的各种操作分为transformation和action Job - 作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation Stage - 一个作业分为多个阶段 Partition - 数据分区， ...
Spark（五十二）：Spark Scheduler模块之DAGScheduler流程
weixin_30430169的博客
06-26 407
导入 从一个Job运行过程中来看DAGScheduler是运行在Driver端的，其工作流程如下图： 图中涉及到的词汇概念： 1. RDD——Resillient Distributed Dataset 弹性分布式数据集。 2. Operation——作用于RDD的各种操作分为transformation和action。 3. Job——作业，一个JOB包含多个RDD及作用于相应...
大数据HelloWorld-Flink实现WordCount
10-16
在这个场景中，我们将讨论如何在本地环境中设置Flink、创建和运行一个简单的WordCount程序。 首先，为了运行Flink，你需要一个Java环境，至少是版本1.8或更高。确保你的系统已经安装了JDK，并且版本符合要求。接着...
95-230-028-源码-WordCount走读-获取ExecutionGraph
九师兄
07-03 523
1.视界 2. 概述 ​ ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。 2.1 名词解释 StreamGraph：根据用户通过 Stream API 编写的代码生成的最初的图。 StreamNode：用来代表 operator 的类，并具有所有相关的属性，如并发度、入边和出边等。 StreamEdge：表示连接两个StreamNode的边。 JobGra
95-230-032-源码-WordCount走读-获取物理执行图
九师兄
07-03 445
1.视界 2.概述 物理执行图，还没有，放个美女以表敬意。。。。
tornado-6.4.1-cp38-abi3-musllinux_1_2_i686.whl
11-04
tornado-6.4.1-cp38-abi3-musllinux_1_2_i686.whl
tornado-6.1-cp36-cp36m-manylinux2014_aarch64.whl
11-04
tornado-6.1-cp36-cp36m-manylinux2014_aarch64.whl
基于java的ssm停车位短租系统程序答辩PPT.pptx
11-04
基于java的ssm停车位短租系统程序答辩PPT.pptx
tornado-6.4b1-cp38-abi3-musllinux_1_1_x86_64.whl
11-04
tornado-6.4b1-cp38-abi3-musllinux_1_1_x86_64.whl
基于java的招生管理系统答辩PPT.pptx
11-04
基于java的招生管理系统答辩PPT.pptx
课设毕设基于SpringBoot+Vue的医学电子技术线上翻转课堂系统源码可运行.zip
最新发布
11-04
本压缩包资源说明，你现在往下拉可以看到压缩包内容目录 我是批量上传的基于SpringBoot+Vue的项目，所以描述都一样；有源码有数据库脚本，系统都是测试过可运行的，看文件名即可区分项目~ ｜Java｜SpringBoot｜Vue｜前后端分离｜ 开发语言：Java 框架：SpringBoot，Vue JDK版本：JDK1.8 数据库：MySQL 5.7+（推荐5.7，8.0也可以） 数据库工具：Navicat 开发软件： idea/eclipse（推荐idea） Maven包：Maven3.3.9+ 系统环境：Windows/Mac
MapReduce详解：Hadoop集群中WordCount应用与JobTracker-TaskTracker架构
运行WordCount程序时，首先确保Hadoop环境已配置好，然后在源代码目录"src/examples"查找WordCount的源代码，按照程序逻辑进行编译和运行，观察和分析输出结果，以理解MapReduce如何将大文件拆分成小块、并行处理，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值