hadoop
文章平均质量分 84
Mr_sunrise
这个作者很懒,什么都没留下…
展开
-
NameNode和SecondaryNameNode关系解析
HDFS集群在启动后会有三个守护进程:NameNode,SecondaryNameNode和DataNode。我们都知道DataNode是用来存放数据的位置,那么NameNode和SecondaryNameNode的关系又是怎么样的呢?许多初学者根据名字可能会以为当NameNode出现故障时,SecondaryNameNode会自动成为新的NameNode,也就是NameNode的“热备”。通过下面原创 2017-07-18 10:48:34 · 3140 阅读 · 0 评论 -
YARN的架构
YARN还是传统的主从(master/slave)架构,如下图所示 YARN服务由ResourceManager和NodeManager两类进程组成,Container是YARN的资源表示模型,在任何类型的计算框架的作业都可以运行在Container中,ApplicationMaster是YARN的二级资源调度器,它也运行在Container中。ResourceManager YARN的资源原创 2017-07-18 17:30:22 · 858 阅读 · 0 评论 -
MapReduce的过程
在MapReduce的过程中,一个作业被分成map和reduce计算两个阶段,他们分别由一个或者多个map任务和reduce任务组成,如下图所示,一个MapReduce作业从数据的流向可以被切分为Map任务和Reduce任务。Reduce任务默认在Map任务数量完成5%后才开始启动。 input 如果使用HDFS上的文件作为输入,mr计算框架会首先用InputFormat类的子类FileIn原创 2017-07-17 17:26:41 · 822 阅读 · 0 评论