单机模式(standalone)
在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。伪分布模式(Pseudo-Distributed Mode)
伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。- 完全分布式模式
完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。 - HA高可用集群模式
HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。
两台NN之间同步数据有两种方法:QJM和NFC。
另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
该模式下的集群配置是在完全分布式模式的基础上做了部分调整。 - HA+Federation(高可用联邦)
HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)
将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。
Hadoop运行模式
最新推荐文章于 2024-02-24 10:42:21 发布