Hadoop历险记(一:hadoop概览)

hadoop的核心

hadoop发行版目前历经三代,1已经基本淘汰了,使用比较广泛的是2和3. 后面这两代架构没有发生大的变化,主要是性能发明方面的的不断优化。

hadoop的核心是:

  • HDFS 分布式文件存储系统
  • YARN 资源管理和任务调度系统
  • mapreduce计算框架

集群架构:这里对初学者来说有一个很重要的点,就是集群架构。(什么是集群请看这一篇:)
HDFS集群和YARN集群都是标准的主从架构:

在这里插入图片描述
一个主节点 很多个从节点 一个机器上面会有一个从节点 这样就联合多台机器进行集群化的处理,主节点有全局管理的作用,所以一旦主节点丢失或者出问题了 那么基本就gg了,所以hadoop机制中肯定会有主节点保护和备份的内容 这里先不多赘述。

要非常注意的是:这两个核心集群逻辑上是分离的,比如一台机器上上都部署了HDFS的DN和YARN的NN 他们一起工作但是彼此什么关系都没有。不要把他们理解成同一个程序。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值