Hadoop运行模式

  1. 单机模式(standalone)
    在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。

  2. 伪分布模式(Pseudo-Distributed Mode)
    伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。

  3. 完全分布式模式
    完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。
  4. HA高可用集群模式
    HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。
    两台NN之间同步数据有两种方法:QJM和NFC。
    另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
    该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
  5. HA+Federation(高可用联邦)
    HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)
    将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值