【Hadoop】MapReduce Job Files

最新推荐文章于 2021-03-19 19:24:26 发布
最新推荐文章于 2021-03-19 19:24:26 发布
阅读量1.3k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjun2915/article/details/12874773
版权

Hadoop运行一个MapReduce Job后，JobTracker和TaskTracker都需要创建/维护一系列的文件以便运行/管理/监控job。其中，有部分job files存储在HDFS从而可以分发到各个TT，有部分存储在JT和TT本地。


JobTracker Files

下表总结了几种主要的job file：


FS Location Property Child Directory Directory File List File Type
HDFS mapreduce.jobtracker.staging.root.dir <userId>/.staging/<jobId> job.xml
job.jar
job.split
job.splitmetainfo		 Temporary
HDFS mapred.system.dir <jobId>
最低0.47元/天 解锁文章
天外有菌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce工作笔记——Job上传普通文件和大文件
Congying-Wang的博客
11-29 2824
文章目录0. 前言1. 上传普通文件2. 上传大文件2.1 cacheFile上传至Hdfs2.2 cacheArchive上传压缩文件 MapReduce工作笔记 系列目录：MapReduce工作笔记——目录 0. 前言 我们在配置MR Streaming任务的时候，通常会上传mapper、reducer以及其他会用到的一些文件，在MapReduce工作笔记——Hadoop shell 常用...
MapReduce 缓存文件
qq_44676946的博客
05-17 309
BufferedReader bufferedReader = new BufferedReader(new FileReader("文件名")) // 指定需要缓存一个文件到所有的maptask运行节点工作目录 /* job.addArchiveToClassPath(archive); */// 缓存jar包到task运行节点的classpath中 /* job.addFileToClassPath(file); */// 缓存普通文件到task运行...
mapreduce的缓存(addCacheFile)使用
沙漠的飞鱼
07-31 6339
1.在main()方法中添加缓存路径job.addCacheFile(new URI(args[2])); job.addCacheFile(new URI(args[3]));2.在map或者reduce的setup方法中处理缓存文件FileReader in = null; BufferedReader reader = null; HashMap<String, String> n_map =
MapReduce------addCacheFile的使用
洛云凡
08-08 1421
main方法中设置缓存文件 job.addCacheFile(new URI("file:/你的文件路径)); 在Mapper类的setup方法中加载缓存文件，setup方法，在maptask运行前只调用一次，可进行初始化工作。 protected void setup(Context context)throws IOException, InterruptedException { ...
MapReduce
qq_44927239的博客
04-23 188
Map Join 1．使用场景 MapJoin适用于一张表十分小、一张表很大的场景。 2．优点 思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？ 在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。 3．具体办法：采用DistributedCache （1）在Mapper的setup阶段，将文件读取到缓...
Elasticsearch for Hadoop
11-27
Table of Contents ...Creating the MapReduce job to import data from Elasticsearch to HDFS Writing the Tweets2Hdfs mapper Running the example Testing the job execution output Summary ...
18、MapReduce的计数器与通过MapReduce读取-写入数据库示例
05-29
例如，“Total input files to process”表示处理的总输入文件数量，“number of splits”指示文件被分割成多少个块进行处理，“Running job”显示作业的状态等。 自定义计数器则是开发者根据实际需求创建的，用于...
eclipse hadoop2.7.1 plugin 配置
10-22
- **MapReduce编程模型**：Hadoop的核心是MapReduce，它定义了一种分布式计算模式，包括Map阶段（数据拆分和并行处理）和Reduce阶段（结果聚合）。 - **HDFS（Hadoop Distributed File System）**：Hadoop的数据...
hadoop命令手册
09-16
用法：hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> ] | [-kill <job-id>] | [-events <job-id> <from-event-#> ] | [-history [all] ] | [-list ...
Hadoop-comparing-two-text-files:所有关于 Hadoop
06-16
本项目“Hadoop-comparing-two-text-files”聚焦于使用Hadoop MapReduce来比较两个文本文件，这对于数据比对、日志分析、数据一致性验证等场景非常有用。Hadoop基于Java编程语言实现，因此在编写MapReduce程序时，...
分布式计算模型MapReduce 基础知识点
学无止境,勤则可达；志存高远,恒亦能成！
03-19 695
分布式计算模型MapReduce 一、学习准备 安装VMware15虚拟化软件 安装CentOS 7虚拟机3个 安装3节点的apache hadoop-3.1.4集群 windows或mac安装IDEA windows做好hadoop环境配置 二、学习主题 MapReduce核心思想 MapReduce编程 三、学习目标 理解MapReduce核心思想 理解MapReduce编程8步 理解各步骤的MapReduce编程 掌握mapTask及reduceTask的工作机制 四、知识要点 1. ma
hadoop DistributedCache
04-09 629
WordCount.javaHadoop的分布式缓存机制使得一个job的所有map或reduce可以访问同一份文件。在任务提交后，hadoop将由-files和-archive选项指定的文件复制到HDFS上（JobTracker的文件系统）。在任务运行前，TaskTracker从JobTracker文件系统复制文件到本地磁盘作为缓存，这样任务就可以访问这些文件。对于job来说，它并不关心文件是从哪
MapReduce原理
liweihope的博客
03-02 462
本节的主要内容有： 1.MapReduce了解 2.MapReduce on Yarn架构 3.提交jar到yarn的过程剖析 4.shuffle剖析 5.MapReduce常用命令 1.MapReduce了解 MapReduce 分布式计算框架 企业开发很少用不用，因为它要用java代码去写，很复杂很累赘 ，它的shuffle是基于磁盘的，很慢，而spark是基于内存的框架...
hadoop2.0的mapreduce作业classpath研究
快乐程序员的专栏
12-25 6540
hdfs raid从facebook移植过来很久了，包括hadoop0.20.203和hadoop2.4.0版本，但是最近才准备上线hadoop2.4.0版本的hdfs raid，上线前准备在好好测试测试，确保上线顺利，hdfs raid代码分成两部分，一部分是hdfs下面的代码，这部分代码上一次和其他patch一起已经上线，另外一部分是raid自己比较独立的代码，按照之前的计划，后一部分代码准备只部署在RaidNode节点和gateway上面，这样对集群的影响是最小的，不需要重启hadoop进程，在测试R
使用hadoop eclipse plugin提交Job并添加多个第三方jar
weixin_33949359的博客
08-08 90
来自：http://heipark.iteye.com/blog/1171923   通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotFoundException），跟踪代码发现jar文件的确上传到了HDFS中，所以甚是无解，...
MapReduce系列之全局参数、数据文件的传递与引用
twj0823的博客
11-24 1397
MapReduce编程过程中全局参数、数据文件的传递与引用的主要有一下几种方法。 1、读写HDFS文件 通过利用Hadoop的Java Apl来实现读写HDFS文件，需要注意的是针对多个Map或Reduce的写操作会产生冲突，覆盖原有数据 优点：能够实现读写，也比较直观 缺点：要共享一些很小的全局数据也需要I/O，将占用系统资源，增加作业完成的资源消耗 2、配置Job属性 在MapRe...
MapReduce程式如何调用第三方和本地库
lemo的专栏
08-21 5795
MapReduce程式调用第三方包和本地库 ------------------------- 问题： 在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。 解决方法介绍： 我们知道，在Hadoop中有一个叫做Distri
Hadoop之——MapReduce job的几种运行模式
热门推荐
爱笑的博客
12-26 1万+
需要的jar包 \share\hadoop\common下的jar和其子目录下lib中的jar \share\hadoop\hdfs下的jar和其子目录下lib中的jar \share\hadoop\mapreduce下的jar和其子目录下lib中的jar \share\hadoop\yarn下的jar和其子目录下lib中的jar WordCountMapper.java pac
1亿条数据动态增长，取top10，怎么用golang Hadoop MapReduce实现
最新发布
05-31
mapreduce.Run(&job, inputFiles, outputDirectory) } ``` 请9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR\n注意，上述示例假定您已经有一个名为`mapreduce`的包，其中包含`Job`结9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR9构和`Run...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值