【Hadoop】MapReduce Job Files

最新推荐文章于 2021-02-15 22:58:02 发布
最新推荐文章于 2021-02-15 22:58:02 发布
阅读量1.3k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjun2915/article/details/12874773
版权

Hadoop运行一个MapReduce Job后，JobTracker和TaskTracker都需要创建/维护一系列的文件以便运行/管理/监控job。其中，有部分job files存储在HDFS从而可以分发到各个TT，有部分存储在JT和TT本地。


JobTracker Files

下表总结了几种主要的job file：


FS Location Property Child Directory Directory File List File Type
HDFS mapreduce.jobtracker.staging.root.dir <userId>/.staging/<jobId> job.xml
job.jar
job.split
job.splitmetainfo		 Temporary
HDFS mapred.system.dir <jobId>
最低0.47元/天 解锁文章
天外有菌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop MapReduce.md
09-17
结论： 本章介绍了 Hadoop MapReduce，同时发现它有以下缺点： 1、程序设计模式不容易使用，而且 Hadoop 的 Map Reduce API 太过低级，很难提高开发者的效率。 2、有运行效率问题，MapReduce 需要将中间产生的数据保存到硬盘中，因此会有读写数据延迟问题。 3、不支持实时处理，它原始的设计就是以批处理为主。
hadoop mapreduce核心功能描述
社会化搜索与互联网广告精准推荐
05-18 3658
核心功能描述 应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口，它们组成作业的核心。 Mapper Mapper将输入键值对(key/value pair)映射到一组中间格式的键值对集合。 Map是一类将输入记录集转换为中间格式记录集的独立任务。 这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或
MapReduce V2 开发手册
飞朋的博客
09-07 368
目的 这个文档全面描述了 Hadoop MapReduce 框架面向用户的所有方面，作为一个教程。 前提条件 确保 Hadoop 已安装、配置并正在运行。更多的细节： Single Node Setup for first-time users. Cluster Setup for large, distributed clusters. 概述 Hadoop MapReduce 是一个软件框架，可以轻松地编写在大型集群(数千个节点)上并行处理大量数据(兆兆字节数据集)的应
MapReduce原理
liweihope的博客
03-02 455
本节的主要内容有： 1.MapReduce了解 2.MapReduce on Yarn架构 3.提交jar到yarn的过程剖析 4.shuffle剖析 5.MapReduce常用命令 1.MapReduce了解 MapReduce 分布式计算框架 企业开发很少用不用，因为它要用java代码去写，很复杂很累赘 ，它的shuffle是基于磁盘的，很慢，而spark是基于内存的框架...
Hadoop分布式缓存(DistributedCache)
微信搜：import_bigdata，大数据领域硬核原创作者
04-11 1160
1.前言DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache...
hadoop2.0的mapreduce作业classpath研究
快乐程序员的专栏
12-25 6532
hdfs raid从facebook移植过来很久了，包括hadoop0.20.203和hadoop2.4.0版本，但是最近才准备上线hadoop2.4.0版本的hdfs raid，上线前准备在好好测试测试，确保上线顺利，hdfs raid代码分成两部分，一部分是hdfs下面的代码，这部分代码上一次和其他patch一起已经上线，另外一部分是raid自己比较独立的代码，按照之前的计划，后一部分代码准备只部署在RaidNode节点和gateway上面，这样对集群的影响是最小的，不需要重启hadoop进程，在测试R
hive 把mysql语句执行_Sqoop将Hive表中数据导入MySQL中，进程死住，不执行该怎么办...
weixin_42324688的博客
02-15 208
[hadoopUser@secondmgt ~]$ sqoop-export --connect jdbc:mysql://secondmgt:3306/transport --username hive --password hive --table jtxx --export-dir /hive/warehouse/hive.db/temptrans --input-fields-termin...
使用hadoop eclipse plugin提交Job并添加多个第三方jar
weixin_33949359的博客
08-08 89
来自：http://heipark.iteye.com/blog/1171923   通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotFoundException），跟踪代码发现jar文件的确上传到了HDFS中，所以甚是无解，...
hadoop DistributedCache
04-09 627
WordCount.javaHadoop的分布式缓存机制使得一个job的所有map或reduce可以访问同一份文件。在任务提交后，hadoop将由-files和-archive选项指定的文件复制到HDFS上（JobTracker的文件系统）。在任务运行前，TaskTracker从JobTracker文件系统复制文件到本地磁盘作为缓存，这样任务就可以访问这些文件。对于job来说，它并不关心文件是从哪
MapReduce 缓存文件
我们始终是路人
10-31 1147
/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new Fi
python hadoop mapreduce 相似用户|mapreduce.rar
12-01
使用python写微博关注者之间，相似度最高的十个用户的mapreduce，代码有点粗糙，主要是给大家提供思路的，不同的问题是需要修改的。
Hadoop MapReduce架构
01-07
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce ...一个 Hadoop MapReduce 作业（job）的基本工作流程就是，首先把存储在 HDFS 中的输入数据集切分为若干个独
10.Hadoop MapReduce教程1
08-03
Hadoop MapReduce 教程概述 Hadoop MapReduce 是 Hadoop 生态系统中的一部分，它是一种可靠的、可扩展的并行处理框架，用于处理大规模数据集。MapReduce 是一种编程模型，它将计算任务分解为两个阶段：Map 阶段和 ...
hadoop mapreduce wordcount
08-24
<groupId>com.hadoop.mapreduce</groupId> <artifactId>wordcount <version>0.0.1-SNAPSHOT <packaging>jar <name>wordcount <url>http://maven.apache.org</url> <project.build.sourceEncoding>UTF-8 ...
Hadoop2.2.0已经遗弃的属性名称
Mrknowledge
04-04 1453
Hadoop自升级到2.x版本之后，有很多属性的名称已经被遗弃了，虽然这些被遗弃的属性名称目前还可以用，但是这里还是建议用新的属性名，主要遗弃的属性名称主要见下面表格： 已经被遗弃属性的名称 新的属性名称 create.empty.dir.if.nonexist mapreduce.jobcontrol.createdir.ifnotexist dfs.a
Hadoop问题记录
gaoxu1990god的专栏
08-19 391
namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/current 百度上搜的方法如下：可没解决。。。。 解法一：帮 /home/hadoop 加入其他使用者也可以写入的权限     sudo chmod -R a+w /home/hadoop/tmp  解法
【Hadoop】50-MapReduce参数优化
通往神秘的道路的专栏
09-07 361
1、 资源相关参数 //以下参数是在用户自己的mr应用程序中配置就可以生效 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为...
MapReduce程式如何调用第三方和本地库
lemo的专栏
08-21 5792
MapReduce程式调用第三方包和本地库 ------------------------- 问题： 在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。 解决方法介绍： 我们知道，在Hadoop中有一个叫做Distri
1亿条数据动态增长，取top10，怎么用golang Hadoop MapReduce实现
最新发布
05-31
0fS0j3w+fhvTtw+PhvT1w+PhvTlQOt1AeR首先，您需要将数据存储在HDFS中。然后，您可以使用Go编写MapReduce作业。 Map9QOt1AeR9QOt1AeR9QOt1Ae\nR9QOt1AeR函数将每个输入键值对映射到一组中间键值对。在这种情况下，您可以将9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR9输入键值对解析为一行文本并将其拆分为单词。然后，对于每个单词QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR\n9，您可以向中间键值对列表中写入一个键值对，其中键是单词本身，值是1QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR9Q。 Reduce函数将每个中间键及其相关的值列表合并为一个输出键值对。在这种情况Ot1AeR9QOt1AeR9QOt1AeR9QOt1AeR9QOt下，您可以对值列表进行求和并找到前10个最高的单词。 下面是一些Go代码1AeR\n9QOt1AeR9QOt1AeR9QOt1AeR9QOt示例： ``` // Map函数 func mapFunc(key, value string, output chan<- mapreduce.KeyValue) error { words1AeR9QOt1AeR9QOt1AeR9QOt1AeR9QOt1 := strings.Fields(value) for _, word := range words { output <- mapreduce.KeyValue{word, "1"} } AeR9QOt1AeR\n9QOt1AeR9QOt1AeR9QOt1 return nil } // Reduce函数 func reduceFunc(key string, values []string, output chan<- mapreduce.KeyValue) error { AeR9QOt1AeR9QOt1AeR9QOt1AeR9QOt1A count := 0 for _, value := range values { i, err := strconv.Atoi(value) if err != nil { eR9QOt1AeR9QOt1AeR\n9QOt1AeR9QOt1A return err } count += i } output <- mapreduce.KeyValue{key, strconv.Itoa(count)} return nileR9QOt1AeR9QOt1AeR9QOt1AeR9QOt1Ae } // 主函数 func main() { job := mapreduce.Job{ Name: "top10 words", Mapper: mapR9QOt1AeR9QOt1AeR9QOt1AeR\n9QOt1AeFunc, Reducer: reduceFunc, NReduce: 1, } inputFiles := []string{"path/to/input/fileR9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR"} outputDirectory := "path/to/output/directory" mapreduce.Run(&job, inputFiles, outputDirectory) } ``` 请9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR\n注意，上述示例假定您已经有一个名为`mapreduce`的包，其中包含`Job`结9QOt1AeR9QOt1AeR9QOt1AeR9QOt1AeR9构和`Run`函数。您可以从Hadoop MapReduce Go Library中获得该包。 希望这可以帮助您开始编写您的MapReduce作业。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值