- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 学习Hadoop 中总结的资料
学习Hadoop 中总结的资料http://www.aboutyun.com/thread-6455-1-1.html(出处: about云开发)
2014-02-19 16:42:25
490
转载 hadoop执行job时，如何解决map /reduce程序执行时卡住现象
阅读本文可以带着下面问题：1.map /reduce程序卡住的原因是什么？2.根据原因，你是否能够想到更好的方法来解决？（企业很看重个人创作力）map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节
2014-02-19 16:38:40
2010
转载 hadoop中map和reduce的数量设置
一、mapred-default.xml这个文件包含主要的你的站点定制的Hadoop。尽管文件名以mapred开头，通过它可以控制用户maps和 reduces的默认的设置。下面是一些有用变量：名字含义dfs.block.size分布式文件系统中每个数据块的大小 （bytes）io.sort.factor合并排序时每层
2014-02-19 16:32:30
770
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人