VMStation+hadoop完全分布搭建master,slave1,slave2节点

一、准备阶段​

1.准备三台虚拟机和只要其中一台安装好jdk和hadoop,以及都已配好静态IP地址的虚拟机​​​​​​

上一节伪分布已经说明了安装jdk和hadoop,配置好静态ip,
有需要的小伙伴可以转至:
https://mp.csdn.net/mp_blog/creation/editor/127802752
我这里的jdk和hadoop路径如下,后面不在说明:
[root@master ~]#cd  /opt
[root@master opt]#ll
总用量 0
drwxr-xr-x. 4 root root 44 11月 11 22:19  module
drwxr-xr-x. 2 root root 65 11月 11 22:18  software
[root@master opt]#cd module/
[root@master module]#ll
总用量 8
drwxr-xr-x. 11  1000  1000 4096 11月 16 17:26 hadoop-3.1.3
drwxr-xr-x.  8 10143 10143 4096 6月   9 2021 jdk1.8.0_301
当然java和hadoop版本及查看如下:
[root@master ~]#java -version
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
[root@master ~]#hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r 		
ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

2.集群规划

NameNode 和 SecondaryNameNode,NameNode
 和 ResourceManager,前者大家可以理解,后者呢,
 我们都知道 ResourceManager 是比较吃内存的,
其实呢 NameNode 在HDFS工作量大的时候,也是很吃内存的。
master slave1 slave2
HDFS NameNode,DataNode DataNode SecondaryNameNode,DataNode
YARN NodeManager ResourceManager,NodeManager NodeManager

3.三台虚拟机及其运行环境准备

1.修改主机名分别为 master,slave1,slave
[root@master ~]#vim /e
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等月下风起

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值