- 博客(2)
- 资源 (16)
- 收藏
- 关注
原创 Hadoop之MapReduce任务的优化
1. 任务调度 (1)计算方面:Hadoop总会优先将Task分配给空闲的机器,所有的人物能公平地分享系统资源 (2)I/O方面:Hadoop尽量将map Task分配给Input Split所在的机器,以减少网络I/O的消耗。 2.数据预处理与Input Split的大小 (1)提交MapReduce Task前可以先对数据进行一次预处理,将数据合并以提高MapReduc
2012-04-06 17:34:42 1590
原创 Hadoop之MapReduce运行理解
package com.felix; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apac
2012-04-06 16:18:15 1151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人