一、准备阶段
1.准备三台虚拟机和只要其中一台安装好jdk和hadoop,以及都已配好静态IP地址的虚拟机
上一节伪分布已经说明了安装jdk和hadoop,配置好静态ip,
有需要的小伙伴可以转至:
https://mp.csdn.net/mp_blog/creation/editor/127802752
我这里的jdk和hadoop路径如下,后面不在说明:
[root@master ~]#cd /opt
[root@master opt]#ll
总用量 0
drwxr-xr-x. 4 root root 44 11月 11 22:19 module
drwxr-xr-x. 2 root root 65 11月 11 22:18 software
[root@master opt]#cd module/
[root@master module]#ll
总用量 8
drwxr-xr-x. 11 1000 1000 4096 11月 16 17:26 hadoop-3.1.3
drwxr-xr-x. 8 10143 10143 4096 6月 9 2021 jdk1.8.0_301
当然java和hadoop版本及查看如下:
[root@master ~]#java -version
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
[root@master ~]#hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r
ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
2.集群规划
NameNode 和 SecondaryNameNode,NameNode
和 ResourceManager,前者大家可以理解,后者呢,
我们都知道 ResourceManager 是比较吃内存的,
其实呢 NameNode 在HDFS工作量大的时候,也是很吃内存的。
|
master |
slave1 |
slave2 |
HDFS |
NameNode,DataNode |
DataNode |
SecondaryNameNode,DataNode |
YARN |
NodeManager |
ResourceManager,NodeManager |
NodeManager |
3.三台虚拟机及其运行环境准备
1.修改主机名分别为 master,slave1,slave
[root@master ~]#vim /e