MapReduce
行者无疆_super
这个作者很懒,什么都没留下…
展开
-
MapReduce笔记(架构及工作原理)
Mapreduce架构: JobTracker: •Master •管理所有作业 •将作业分解成一系列任务 •将任务指派给TaskTracker •作业/任务监控、错误处理等 TaskTracker: •Slave •运行Map Task和Reduce Task •与JobTracker交互,执行命令,并汇报任务状态原创 2014-10-27 10:04:55 · 2260 阅读 · 1 评论 -
mapreduce配置调优
默认情况下,hadoop为各个守护进程分配1000M(1G)内存,该值在文件hadoop-env.sh的HADOOP_HEAPSIZE属性控制,tasktracker启动子JVM运行map和reduce任务也需要内存。 按照默认配置,一个tasktracker可运行2个map(mapred.tasktracker.map.tasks.maximum)和2个reduce(mapred.tasktr原创 2014-10-23 16:37:02 · 1700 阅读 · 0 评论