hadoop
mr_维
这个作者很懒,什么都没留下…
展开
-
hadoop 2.2.0 运维
1. 从secondary name node 回复数据:原创 2014-04-29 17:15:23 · 453 阅读 · 0 评论 -
hadoop 2.2.0 effective test
hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100原创 2014-04-28 16:05:42 · 484 阅读 · 0 评论 -
hadoop map task 数量的确定
1. split大小的计算公式 minSize=max{minSplitSize,mapred.min.split.size} (minSplitSize大小默认为1B) maxSize=mapred.max.split.size(不在配置文件中指定时大小为Long.MAX_VALUE) splitSize=max{minSize,min{maxSize,blockSize转载 2014-05-21 16:07:31 · 1019 阅读 · 0 评论