Hadoop部署模式

一、jdk安装与环境配置。

1、打开虚拟机，查看上传到master的JDK压缩包

 2、在master虚拟机上安装配置JDK，输入命令：ll /usr/local/jdk1.8.0_231，可看到解压后的jdk目录。

 3、执行命令：vim /etc/profile，配置环境变量。

 4、存盘退出，执行命令：source /etc/profile，让配置生效，输入：java-version查看jdk版本。

5、编写一个Java程序 - HelloWorld.java 。 

执行命令：javac HelloWorld.java，编译成字节码文件。

6、将JDK分发到slave1和slave2虚拟机
执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r：recursive - 递归)。

在slave1上查看JDK是否拷贝成功。

 7、执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME (-r recursive - 递归)。

在slave2上查看JDK是否拷贝成功。

 

 8、将环境配置文件分发到slave1和slave2虚拟机，
输入命令：scp /etc/profile root@slave1:/etc。

9、在slave1与slave2虚拟机上输入命令：source /etc/profile，让环境配置生效。

10、在slave1，slave2虚拟机上查看jdk版本。

 

二、Hadoop安装。

1、下载Hadoop压缩包下载链接https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，建议使用迅雷下载。

2、将Hadoop压缩包解压到指定目录，输入命令：tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local。

查看解压之后的hadoop目录。

3、目录                   作用
 bin目录                   命令脚本
etc/hadoop目录        存放hadoop的配置文件
lib目录                     hadoop运行的依赖jar包
sbin目录                   存放启动和关闭hadoop等命令
libexec目录               存放的也是hadoop命令，但一般不常用
在配置Hadoop时，常用的就是bin、etc与sbin三个目录。

查看bin目录。 

查看etc/hadoop目录，主要是hadoop配置文件。

 查看sbin目录。

4、配置Hadoop环境变量，输入命令：vim /etc/profile 。

 5、存盘退出，执行命令source /etc/profile，让配置生效。

 6、验证Hadoop环境，输入命令：hadoop version，检查Hadoop安装是否成功。