![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据-HDFS
文章平均质量分 89
硅谷纵横
静下心,写BUG
展开
-
HDFS
HDFS优点 高容错性 数据自动保存多个副本 副本丢失后,自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合大数据处理 GB、TB、甚至PB级数据 百万规模以上原创 2018-01-04 19:29:12 · 259 阅读 · 0 评论 -
MapReduce工作原理图文详解
目录:1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 正文: 1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图: 流程分析:1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行原创 2018-01-05 12:13:14 · 203 阅读 · 0 评论 -
Hadoop源代码分析(完整版)
Hadoop源代码分析(一)关键字: 分布式云计算Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:http://research.google.com/archive/googlecluster.html Chubby:http://labs.google.com/papers/chub原创 2018-01-08 10:12:45 · 19445 阅读 · 11 评论 -
HDFS集群启动过程详解
HDFS的启动过程和关闭过程都经过脚本进行了封装,只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明,对关闭过程目前还没有调研,所以暂缺。HDFS的启动分三步骤:l 第一步,启动namenode;l 第二步,启动datanode;l 第三步,启动Secondary namenode。下面一一描述。第一步,启动namenode...原创 2018-04-01 23:30:33 · 961 阅读 · 0 评论