![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
寻找手艺人
做好每一件小事,就是一件了不起的大事
展开
-
【Hadoop学习】HDFS 短路本地读
Hadoop版本:2.6.0本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4146296.html 背景在HDFS中,通常是通过DataNode来读取数据的。但是,当客户端向DataNode请求读取文件时,DataNode就会从磁盘读取该文件并通过TCP socket将数据发送到客户端。所谓“短路”是指旁路...转载 2018-05-17 11:28:33 · 1335 阅读 · 0 评论 -
Hadoop2.6(新版本)----MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager:是YARN资源控制框架的中心模块,负责集群中所有的资源的统一管理和分...转载 2018-05-18 14:13:35 · 366 阅读 · 2 评论