Hadoop运行模式

1.单机模式(standalone)

    在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。

 

2.伪分布模式(Pseudo-Distributed Mode)

    伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。

 

3.完全分布式模式

    完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。

 

4.HA高可用集群模式

    HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。

    两台NN之间同步数据有两种方法:QJM和NFC。

    另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。

    该模式下的集群配置是在完全分布式模式的基础上做了部分调整。

 

(没看)

5.HA+Federation(高可用联邦)

    HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)

    将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。

 

 

 

 

4000个节点是一个机架上的还是多个机架上的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值