MapReduce
文章平均质量分 95
栖梧九嶷
爬行中。。。
展开
-
大数据之六 hadoop MapReduce原理
mapreduce是hadoop四大组件之一(HDFS,MapReduce,YARN和Comment),是一种分布式计算编程模型,用于解决海量数据的计算问题。mapreduce采用分而治之的思想,将大文件切割成片,然后由多个map task并行处理,处理完成后交由reduce进行合并再处理原创 2018-10-18 15:53:33 · 236 阅读 · 0 评论 -
大数据之七 hadoop MapReduce架构
MapReduce的实现架构MapReduce采用 Master/Slave 架构,在hadoop1.x版本中,由全局唯一的 Jobtracker(主)和多个 TaskTacker(从)组成。在MapReduceV2中引入了YARN,将资源调度与任务调度分离原创 2018-10-19 16:59:56 · 268 阅读 · 0 评论 -
大数据之八 hadoop MapReduce on YARN--WordCount
Hadoop MapReduce WordCount执行过程及代码分析原创 2018-10-20 17:11:40 · 354 阅读 · 0 评论