hadoop集群的搭建网上常见的教程是基于centos7.5,java8,和hadoop2搭建的,由于笔者比较喜欢新技术,这里就作死使用最新的环境进行搭建,希望大家能提出意见一起进步。
基础配置:3台安装完环境的centos8虚拟服务器。包括java14,mysql8.0,hadoop-3.3.0。基础环境的搭建过于简单,笔者用的是官方的压缩包,这里不再赘述(但是要注意$PATH环境的配置)
笔者所用的包:
drwxr-xr-x. 14 1001 1001 266 8月 4 08:44 hadoop-3.3.0
-rw-r--r--. 1 root root 500749234 8月 3 19:22 hadoop-3.3.0.tar.gz
-rw-r--r--. 1 root root 173071148 8月 3 19:28 jdk-14.0.2_linux-x64_bin.rpm
drwxr-xr-x. 2 root root 4096 7月 26 15:49 mysql
-rw-r--r--. 1 root root 756193280 7月 26 15:47 mysql-8.0.21-1.el8.x86_64.rpm-bundle.tar
PATH环境:
#java envirnment
export JAVA_HOME=/usr/java/jdk-14.0.2
export PATH=.:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
测试hadoop用的是Apache官网的测试用例:
这时候我们有3台在线服务器,笔者这里取名hadoop01,hadoop02,hadoop03。
我们需要设置一下主机的映射(笔者先在一台服务器上配置了环境然后进行克隆,如果克隆之后进行设置,则需要再另外两台机器也进行映射):
[root@hadoop01 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.150.4 hadoop01
192.168.150.5 hadoop02
192.168.150.6 hadoop03
1