- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 mapreduce中控制mapper的数量
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导
2013-03-08 17:19:33
9609
1
原创 hbase使用、运维、改进(不断更新)
刚刚看了google jeff dean 在新的一年里发表的演讲，讲到各种系统配合使用完成海量数据处理任务。深有感触：http://t.cn/zYE89gn 。2013年，依然会专注hbase研究，并以此为基础扩展，对hbase衍生的一些特性和产品进行深入研究，例如replication、phoenix。从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性
2013-03-07 15:27:06
12589
6
hbase培训ppt
本人总结的hbase入门+提高培训ppt，对于对初级人员进行hbase培训，讲解思路在我的一篇博文中：http://blog.csdn.net/kirayuan/article/details/6321966#reply
2013-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人