实战Hadoop
iteye_17225
这个作者很懒,什么都没留下…
展开
-
第三章 MapReduce
3.1 MapReduce基础 任务的分解与结果的汇总。 MapReduce框架负责分布式存储、工作调度、负载均衡、容错处理、网络通信.....复杂的任务有框架完成。 MapReduce集群行为: 1、任务调度与执行 MapReduce任务有JobTracker和TaskTracker两类节点控制。JT负责调度和管理TJ,TJ负责任务的并行计算。TaskTrack...原创 2015-07-10 20:08:03 · 127 阅读 · 0 评论 -
第二章 HDFS
2.1 开源的GFS 设计目标: 1、硬件错误时常态而不是异常 2、流式数据访问 3、大规模数据集 4、简单一致性模型 5、移动计算比移动数据更划算 保障HDFS可靠性措施 1、冗余备份 HDFS将每个文件存储为一个数据块,默认为64MB,每个数据块都会存在多个副本。HDFS针对一个数据...原创 2015-07-10 20:08:12 · 112 阅读 · 0 评论