ccah-500 第9题 How would you tune your io.sort.mb value to achieve maximum memory to disk I/O ratio?

原创 2016年06月01日 17:40:09

9.You observed that the number of spilled records from Map tasks far exceeds the number of map output records. Your child heap size is 1GB and your io.sort.mb value is set to 1000MB. How would you tune your io.sort.mb value to achieve maximum memory to disk I/O ratio? 

A. For a 1GB child heap size an io.sort.mb of 128 MB will always maximize memory to disk I/O 

B. Increase the io.sort.mb to 1GB 

C. Decrease the io.sort.mb value to 0 

D. Tune the io.sort.mb value until you observe that the number of spilled records equals (or is as close to equals) the number of map output records. 

 

Answer: D 

 

reference

http://www.aiotestking.com/cloudera/how-would-you-tune-your-iosortmb-value-to-achieve-maximum-memory-to-disk-io-ratio-3/

io.sort.mb - This sets the size of memory buffer used during sort operations. This buffer is contained within the map/reduce task’s JVM heap as defined in mapred.child.java.opts. If this buffer size is too small for the amount of input data, it can lead to intermediate spills to disk and which will later need to be read and merged. Increasing this value will reduce or eliminate the number of intermediate spills going to disk and reduce the overall I/O load on your system.
Default value: 100 Mb
Recommended value: Use 1/4 to 1/2 of the map/reduce task Java heap size setting (in mapred.child.java.opts).
Auto-tuned value: 1/2 of the map/reduce Java heap size

 

Reference from the book ” Hadoop Operations” of Eric Sammer:

“The value of io.sort.mbis specified in megabytes and, by default, is 100.
Increasing the size of this buffer results in fewer spills to disk and, as a consequence, reduces the number of spill files that must be merged when the map task completes.

The io.sort.mbparameter is one way administrators and job developers can trade more memory for reduced disk IO.

The downside of this is that this buffer must be contained within the child task’s JVM heap allocation, as defined by mapred.child.java.opts.
For example, with a child heap size of 1GB and io.sort.mbset to 128, only 896MB is really available to the user’s code

Remember that ultimately, all records output by map tasks must be spilled so,
in the ideal scenario, these numbers are equal.”

版权声明:本文为博主原创文章,转载请注明。

【编程初学者】创建自己的开源项目1-创建远程代码仓库

如果你是一名程序员,并且有着自己的创意,急于想向这个世界分享你的创意,又感觉找不到方向,那么你该认真地读下去了。     假设你已经有一个项目,想让世界上的任何一个人能够下载下来,进行协作开发,那么你...
  • jiao_zg
  • jiao_zg
  • 2017年02月22日 21:57
  • 710

php面试题之四——PHP面向对象(基础部分)

1. 写出 php 的 public、protected、private 三种访问控制模式的区别(新浪网技术部) public:公有,任何地方都可以访问 protected:继承,只能在本类或...
  • s1070
  • s1070
  • 2016年04月17日 19:15
  • 1566

java 统计文本中出现概率最高的10个字符串!!

以前经常在CSDN博客上看别人的文章,有时是遇到难题为了寻找思路,有时则是为了偷懒,直接复制别人的源代码,所以对于写这些博客的技术大神,我都是佩服且感激的。感激于他们把我的问题分析的如此透彻明白,佩服...
  • unexisted_
  • unexisted_
  • 2014年10月21日 20:48
  • 3567

SQLITE3 使用总结

前序: 这里要注明,我是一个跨平台专注者,并不喜欢只用 windows 平台。我以前的工作就是为 unix 平台写代码。下面我所写的东西,虽然没有验证,但是我已尽量不使用任何 windows 的...
  • xiliang_pan
  • xiliang_pan
  • 2018年01月03日 11:59
  • 151

哪些神句拯救了你的英文邮件?

进击的仓鼠球 ,一个误入学霸堆多年的学渣 / 语言学 / 心… Hasuran Li 等 916 人赞同 楼上各位大神的句子我都兴奋地右键啦,但是好像没有看见特别多用于给negat...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年07月09日 16:11
  • 5182

Iometer存储测试工具

IOMETER  官方网站:http://www.iometer.org/ Iometer的用户指南上说,Iometer是一个单机或者集群的I/O子系统的测量和描述工具。它最初是由英特尔公司在199...
  • yuesichiu
  • yuesichiu
  • 2013年01月14日 10:11
  • 26776

deep learning 专项课程二 第一单元选择题

deep learning 专项课程二 第一单元
  • qinliuqin
  • qinliuqin
  • 2017年11月21日 11:29
  • 231

Leetcode全数组问题

目录 1、编号2 Median of Two Sorted Arrays There are two sorted arrays A and B of size m and n respe...
  • wangxiaojun911
  • wangxiaojun911
  • 2014年02月06日 03:32
  • 6382

Redis 启动警告解决

[root@centos224]# service redisd start 21985:M 24 Nov 04:07:20.376 * Increased maximum number of ope...
  • kk185800961
  • kk185800961
  • 2016年11月24日 21:56
  • 5691

详细分析stm32f10x.h

STM32F10x.h
  • zhaozhiyuan111
  • zhaozhiyuan111
  • 2017年12月22日 09:35
  • 24
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ccah-500 第9题 How would you tune your io.sort.mb value to achieve maximum memory to disk I/O ratio?
举报原因:
原因补充:

(最多只允许输入30个字)