hadoop 知识点回顾

Hadoop 2.x 生态系统组成




hadoop 组成


namenode 

元数据服务器,属于管理层,用于管理数据的存储,主节点,存储文件的元数据,如文件名,文件目录结构,文件属性,生成时间,副本数,文件权限)及每个文件的块列表及块所在datanode等。



secondary namenode 辅助元数据服务器


jobtracker 

任务调度员,管理层程序,管理集群资源并对任务进行资源调度,监控任务执行,负责用户提交的作业,负责启动,跟踪任务的执行。


datanodes 

块存储   属于应用层,用户数据存储在datanodes ,被namenode 管理,定时向namenode汇报工作情况,执行namenode 分配分发的任务,存储文件块数据及块数据的校验和。


tasktrackers 

任务执行,应用层程序,执行jobtracker分发的任务,并想jobtracker 汇报工作情况,管理各个任务在每个节点的执行情况。


mapreduce 分布式离线计算框架


yarn  集群资源管理系统


hdfs 分布式文件系统







hadoop  部署模式


单机模式 standalone


伪分布式模式 pseudo-distriubuted

一台机器上运行所有的hadoop 服务(五个守护进程)


全分布式模式 fully distributed

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值