大数据技术之hadoop——（三）完全分布式集群搭建（多图详细步骤）

目录

前言

一、 完全分布式集群搭建

1、克隆虚拟机

2、安装jdk、hadoop

【1】使用远程连接工具将jar包导入/opt/software目录下

​【2】将jdk和hadoop解压到/opt/module目录下

​【3】配置环境变量

​【4】hadoop目录结构

3、完全分布式集群搭建

3.1  集群分发脚本

3.2  SSH免密登录

3.3  集群部署

3.4  启动集群

3.5  集群测试

总结

---

前言

大数据之hadoop系列笔记第三篇——集群搭建。从模板机克隆三台机器用来搭建hadoop集群，安装jdk、hadoop配置文件，配置环境变量到启动集群详细搭建步骤

---

一、 完全分布式集群搭建

1、克隆虚拟机

   【1】利用模板机克隆三台机器hadoop02、hadoop03、hadoo04    模板机地址 ，克隆时需要关闭hadoop01 即关机状态

   【2】修改hadoop02、hadoop03、hadoop04三台机器的主机名称，静态ip地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

 【3】分别ping三台机器看看是否能正确连接

               打开cmd 输入 ping hadoop02 依次测试

2、安装jdk、hadoop

【1】使用远程连接工具将jar包导入/opt/software目录下

              这里使用xshell 来到software下 将jar包文件拖进窗口即可完成传输导入

【2】将jdk和hadoop解压到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

【3】配置环境变量

        （1）查看jdk的完整路径和hadoop的完整路径

   （2）新建/etc/profile.d/my_env.sh文件  这里用来存放jdk的全局环境变量和hadoop的全局环境变量

        原因：在/etc/profile文件 会循环遍历/ect/profile.d/下的后缀为.sh的文件并执行相关操作

        ①、cd /etc/profile.d

        ②、sudo vim my_env.sh

        ③、添加如下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.0.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

 （3）source /etc/profile 使环境变量生效

 （4）查看是否配置成功

【4】hadoop目录结构

        （1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

        （2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

        （3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

        （4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

        （5）share 目录