hadoop本地模式部署_Hadoop安装部署的三种模式总结

Hadoop安装部署的三种模式总结

目前来说,Hadoop的安装部署的模式一共有三种,就是如下三种:

1. 本地模式

2. 伪分布模式

3. 全分布模式

默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用本地文件系统,而不是分布式文件系统。

在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环境,并且是相互独立的Java进程。

在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。

在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。

完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。

在所有的主机上安装JDK和Hadoop,组成相互连通的网络。

以下是三种配置模式的配置文件。

本地模式的配置

伪分布模式的配置

完全分部模式的配置

4、验证Hadoop环境

我们一般通过如下的方式来简单测试HADOOP的环境是否搭建成功。

有喜欢的小哥哥小姐姐帮忙转发一下呗

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值