![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实战Hadoop
iteye_17225
这个作者很懒,什么都没留下…
展开
-
第三章 MapReduce
3.1 MapReduce基础任务的分解与结果的汇总。MapReduce框架负责分布式存储、工作调度、负载均衡、容错处理、网络通信.....复杂的任务有框架完成。 MapReduce集群行为:1、任务调度与执行MapReduce任务有JobTracker和TaskTracker两类节点控制。JT负责调度和管理TJ,TJ负责任务的并行计算。TaskTrack...原创 2015-07-10 20:08:03 · 128 阅读 · 0 评论 -
第二章 HDFS
2.1 开源的GFS设计目标:1、硬件错误时常态而不是异常2、流式数据访问3、大规模数据集4、简单一致性模型5、移动计算比移动数据更划算 保障HDFS可靠性措施1、冗余备份HDFS将每个文件存储为一个数据块,默认为64MB,每个数据块都会存在多个副本。HDFS针对一个数据...原创 2015-07-10 20:08:12 · 113 阅读 · 0 评论