分布式Hadoop多节点集群搭建

分布式Hadoop多节点集群搭建

我们使用三个系统(一个主机和两个从机)的Hadoop集群环境;下面给出的是其IP地址。

• Hadoop 主机: 192.168.200.102 (master)
• Hadoop 从机: 192.168.200.103 (slaver1)
• Hadoop 从机: 192.168.200.104 (slaver2)

按照下面给出Hadoop的多节点集群设置的步骤。

安装Java

Java是Hadoop的主要先决条件。首先，应该使用 “java -version”在系统上检查 java 是否已经安装。Java version 命令的语法如下。

# java -version

如果一切正常，它会给出下面的输出。

#jdk-18.0_171
export JAVA_HOME=/opt/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH

root@master:~# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

 配置ssh证书登录

各个节点生成证书的密钥对，有RSA和DSA两种算法，一般使用RSA即可，以master节点为例：

root@master:~# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:OWAlVm9Tw+T71i6rnjY688fJbH9OSh7sPzMMrNmeR7E root@slaver3
The key's randomart image is:
+---[RSA 2048]----+
|      o.o  o+    |
|     . o . o..   |
|      o   + .    |
|     . . o . . . |
|        S   o   o|
|         .   = E |
|            ++X.o|
|          oooBX@.|
|          .B*B**X|
+----[SHA256]-----+

#root@master:~# ssh-copy-id master