TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响

最新推荐文章于 2021-12-10 18:52:38 发布
最新推荐文章于 2021-12-10 18:52:38 发布
阅读量5.7k 收藏 3
点赞数
分类专栏： Hadoop 文章标签： hadoop 测试 input kill 任务 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiejava/article/details/6432095
版权
在1个master和16个slave节点的Hadoop环境中，通过Terasort实验研究了不同数量的map和reduce任务对性能的影响。实验表明，reduce task数量接近或略大于节点数时，性能最优；而map任务数量过多会导致性能下降。Killed map Task Attempts主要由speculative执行机制引起，可通过设置mapred.map.tasks.speculative.execution为false优化。1G和10G数据中，Input Split Size设为128M时性能最佳，且数据量增大可能导致更多Failed tasks。
摘要由CSDN通过智能技术生成

 

一、           实验环境


1个master节点, 16个slave节点: CPU:8GHZ , 内存: 2G

网络：局域网


二、           实验描述


   通过Hadoop自带的Terasort排序程序，测试不同的map task和reduce task数量，对Hadoop性能的影响。

   实验数据由程序中的teragen程序生成，数据量为1GB和10GB。

   通过设置mapred.min.split.size，从而调节map task的数量；设置mapred.reduce.tasks，从而调节reduce task的数量；

   dfs.replication的值设为3，其它参数默认。


三、           实验结果与分析


 

Ø  实验一

 

                表1、改变reduce task（数据量为1GB)

Map task = 16

Reduce task

1

5

10

15

16

20

25

30

45

60

总时间

892

146

110

92

88

100

128

101

145

104

Map 时间

24

21

25

50

21
最低0.47元/天 解锁文章
xiejava
关注
专栏目录
hadoop和spark的mapTask和reduceTask对比和区别(超级详细)
互联网知识分享
07-12 239
所以reduceTask才有优先级的说法：repartition() > spark.sql.shuffle.parallelism > spark.default.parallelism。如果该参数不设置,默认为集群可用的cpu数。[1] 默认情况：reduceTas个数 = spark.default.parallelism, 如果该参数不设置,默认为集群可用的cpu数。[2] 全局设置(只设置reduceTask)：spark.sql.shuffle.parallelism=12。
Hive--参数优化、Map、Reduce Task个数优化
qq_41301707的博客
12-16 1800
Hive--优化 Hive中的执行引擎目前支持：MapReduce、Spark、Tez 本文设定的执行引擎为MapReduce 1 Hive--参数优化 Hive官网--参数 1.1 hive.fetch.task.conversion Default Value: minimal in Hive 0.10.0 through 0.13.1, more in Hive 0.14.0 and la...
Hadoop Terasort
weixin_34112030的博客
06-14 143
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar teragen 10000000 /terasort/input1GB bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar terasor...
测试眼里的Hadoop系列 之Terasort
leafy1980的专栏
07-26 1万+
TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar
hadoop terasort
原创学无止尽
03-13 2231
1. map reduce 和hadoop起源。 MapReduce借用了函数式编程的概念，是Google发明的一种数据处理模型。因为Google几乎爬了互联网上的所有网页，要为处理这些网页并为搜索引擎建立索引是一项非常艰巨的任务，必须借助成千上万台机器同时工作（也就是分布式并行处理），才有可能完成建立索引的任务。     所以，Google发明了MapReduce数据处理模型，而且他们还就此
Hadoop TeraSort 基准测试实验
热门推荐
风声
04-01 1万+
<br /><br />Author: zhankunlin<br />Date: 2011-4-1<br />Key words: Hadoop, TeraSort<br /> <br /><一> TeraSort 介绍<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。<br /><二> 相关资料<br />Hadoop MapReduce扩展性的测试:  http
Hadoop之TeraSort
smallnetvisitor的博客
06-24 413
背景： TeraSort普遍用于参数hadoop的性能，那么他的原理是什么？ 原理： 1.利用默认的IdentityMapper和IdentityReducer进行系统的输入输出。 2.利用mapreduce.job.reduces进行partitions数的确定 3.每个partition读取mapreduce.terasort.partitions.sample/mapreduce...
hadoop细节---reduce任务数量
坚持到底
10-04 5767
1.reduce任务的数量并非由输入数据的大小决定，而是特别指定的。可以设定mapred.tasktracker.map.task.maximum和mapred.tasktracker.reduce.task.maximum属性的值来指定map和reduce的数量。 2.reduce最优个数与集群中可用的reduce任务槽相关，总槽数由节点数乘以每个节点的任务槽。 3.本地作业运行器上，只支持
Hadoop(四) -- MapReducer（二）maptask和reducetask并行度
BubbleMa
12-10 839
一、MapTask的并行度 运行map部分的任务叫做maptask，并行度是指同时运行的maptask的任务个数。maptask处理的数据量对应于一个文件切片，每个maptask处理一个文件切片大小的数据。 MapReducer任务运行时通过 FileInputFormat 类传入输入数据文件，该类在读取文件时会调用 getSplit() 方法对文件进行逻辑切片。 getSplit() 部分源码如下，当使用默认配置时切片大小默认等于HDFS分块大小1...
Spark-terasort:Spark Terasort基准测试
05-13
Spark-Terasort TeraSort是一种流行的基准测试，用于衡量在给定群集上对1 TB随机分布的数据（或所需的任何其他数据量）进行排序的时间。 它最初是用来测量Apache:trade_mark:Hadoop:registered:集群的MapReduce性能的。 在此项目中，代码将在Scala中重写，以测量Spark集群的性能。 它是对Hadoop集群的存储层（HDFS）和计算层（YARN / Spark）进行组合测试的基准。 完整的TeraSort基准测试运行包含以下三个步骤： 通过TeraGen生成输入数据。 在输入数据上运行实际的TeraSort。 通过TeraValidate验证排序的输出数据。 您无需在每次TeraSort运行之前重新生成输入数据（步骤2）。 因此，如果对生成的数据感到满意，则可以跳过第1步（TeraGen），以便以后的TeraSort运行。 包装方式 $ sbt assembly
hadoop.terasort测试
nuoline的专栏
02-25 1127
硬件配置： node configuration: 2*4-core 16GB-ram 4*1T-storage node number: 11 软件配置(其他是默认设置)：replication: 1--------------------------------- 测试过程中调节的参数：mapred.tasktracker.map.tasks.maximum=4(共八个cores, 留一个给d
Hadoop的TeraSort问题
iteye_19448的博客
09-29 398
第一步是运行TeraGen来产生数据，原始命令如下：   root@master:/opt/hadoop-0.20.2# hadoop jar hadoop-0.20.2-examples.jar teragen 10000000000 /user/terasort/input1TB  由于Hadoop默认的配置文件中，设置的map task个数为2，而teragen也没给设定map t...
hadoop基准测试_Hadoop TeraSort基准测试
cuma2369的博客
07-29 657
hadoop基准测试TeraSort is one of Hadoop’s widely used benchmarks. Hadoop’s distribution contains both the input generator and sorting implementations: the TeraGen generates the input and TeraSort conducts...
Hadoop之TeraSort学习笔记
03-20 545
TeraSort源码包含很多个java文件，其中可以分为三个部分：TeraGen, TeraSort和TeraValidate。 TeraGen负责生成排序所需的随机数据，TeraValidate用来验证排序结果。 而与TeraSort排序相关的java文件有Ter...
hadoop集群下执行Terasort排序
赴前尘
11-01 800
1.产生数据： hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar teragen 10737418 /terasort/1G-input 2.检查是否产生数据： hdfs dfs -ls /terasort/ 3.使用ter...
hadoop基准性能测试
曲线救己的fighter
08-12 1449
1、1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14
Hadoop-MapReduce-TeraSort-大数据排序例子
train的专栏
07-24 8955
1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个1406
理解Hadoop Map-Reduce：快速入门与编程实践
3. JobConf：配置参数定义了作业的执行方式，包括任务类型（maptask和reducetask）、数据分区策略以及JobTracker和TaskTracker的相关设置。 在Hadoop集群中，JobTracker负责全局调度，分配任务给TaskTracker，而...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值