MapReduce
关注
分享
扫一扫
行者无疆_super
这个作者很懒，什么都没留下…
展开
-
MapReduce笔记（架构及工作原理）
Mapreduce架构：JobTracker:•Master•管理所有作业•将作业分解成一系列任务•将任务指派给TaskTracker•作业/任务监控、错误处理等TaskTracker：•Slave•运行Map Task和Reduce Task•与JobTracker交互，执行命令，并汇报任务状态原创 2014-10-27 10:04:55 · 2295 阅读 · 1 评论 -
mapreduce配置调优
默认情况下，hadoop为各个守护进程分配1000M(1G)内存，该值在文件hadoop-env.sh的HADOOP_HEAPSIZE属性控制，tasktracker启动子JVM运行map和reduce任务也需要内存。按照默认配置，一个tasktracker可运行2个map(mapred.tasktracker.map.tasks.maximum)和2个reduce(mapred.tasktr原创 2014-10-23 16:37:02 · 1736 阅读 · 0 评论