区分HDFS的jobtracker与testtracker

hadoop的集群是基于master/slave模式,namenode和jobtracker属于master, datanode和tasktracker属于slave, master只有一个,而slave有多个。

secondaryNameNode内存需求和nameNode在一个数量级上,所以通常secondary namenode(运行在单独的物理机器上)和namenode运行在不同的机器上.

Jobtracker和tasktracker的区别是:

(1)Jobtracker对应于namenode, tasktracker对应于datanode.
(2)Datanode和namenode是针对数据存放而来的Jobtracker和tasktracker是对于mapreduce执行而言的.

Mapreduce中几个主要概念:

mapreduce整体上可以分为几条执行线索: jobclient, jobtracker和tasktracker.

Jobtracker是一个master服务,软件启动后jobtracker接收job, 负责调度job的每一个子任务task运行于tasktracker上,并监控它们,如果发现有失败的task就重新运行它。

一般情况应该把jobtracker部署在单独的机器上。
Tasktracker是运行在多个节点上的slaver服务。 Tasktracker主动与jobtracker通信,接收作业,并负责直接执行每一个任务。Tasktracker都需要运行在hdfs的

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值