hadoop3.x集群的搭建看我一个就够了，保姆级教学以及资料软件一应俱全，细分到每一步，包括常见问题的解决，跟着走小白也能搭建成功

本文链接：https://blog.csdn.net/m0_62594675/article/details/144595796

标题

前言
一、VMware的下载和安装
二、Linux系统的安装
三、xshll远程连接
- 1、下载xshll然后安装并连接
- 2、配置主机映射
四、模板虚拟机准备
五、克隆三台虚拟机
- 1、创建完整克隆
- 2、更改IP、主机名
六、安装JDK和Hadoop以及配置环境变量
七、集群配置
八、启动集群

前言

Hadoop集群的搭建有很多步骤，这篇文章是我自己在学习Hadoop搭建和配置中做出的经验和总结，因为也是刚学习，算是小白，我就以小白的视角带着大家一起搭建和配置Hadoop集群。过程中会详细操作每一个步骤，以及可能出现的问题和解决方案。希望我的文章可以为你的搭建环境做出帮助。如果解决了你的问题，请给个关注和点赞！！！后续还会更新一些更优质的内容，如果没有帮助或者错误，请不要骂作者，可以在评论区询问，大家一起解决问题！！！
搭建需要的软件及资料：https://pan.quark.cn/s/b678ea7bdb6e提取码：4p8M

一、VMware的下载和安装

VMware的安装其他地方很多，这里为了篇幅长度的控制，这里不进行展示，切记安装VMware之前如果有安装，一定要把VMware删除干净！！！
安装好打开界面是如下：
在这里插入图片描述

二、Linux系统的安装

1、搭建hadoop100

在这里插入图片描述

下一步骤建议把虚拟机名字改成hadoop100，方便后期的使用
存储路径一定要改成你相对来说空间较大的盘里面，一定不要放C盘，如果磁盘空间不足，可以加个移动硬盘、U盘、SD卡等等方法扩容

在这里插入图片描述

在这里插入图片描述

选择最长的那个
在这里插入图片描述

本地化：
日期与时间：选择亚洲上海，把时间改为现在的时间！！！！
键盘：汉语
语言支持：简体中文
软件安装：桌面安装
在这里插入图片描述

安装位置：选择分配分区，然后点击确认
在这里插入图片描述

自选分区：
/boot 期望容量1g 文件系统ext4
/boot分区的作用开机使用的资源，所有内存1g就够了

swap 期望容量 2g 文件系统swap
swap分区的作用是当你系统内存不够的时候，就把swap分区的容量作为扩容内存使用

/ 期望容量 20-1-2=17g 文件系统 xfs
/ 是根目录

在这里插入图片描述

2、配置虚拟网络的NAT模式

1、右击打开终端
在这里插入图片描述

2、输入ping baidu.com来测试是否联网

ping baidu.com

在这里插入图片描述
如果显示：未知的名称或服务则表示连不上网，可能是当时选上海时间时没有更改当前时间或者没有打开en33，建议删除这个hadoop100按照上面步骤重新配置

在这里插入图片描述

如果没有VMnet8，就要回到虚拟网络编辑界面还原默认，然后再从编辑网络重新开始，切记！！！只有没有VMnet8再进行此操作
没有VMnet8才进行此操作！！！
在这里插入图片描述

3、配置静态网络

1、在终端输入

 su root

在这里插入图片描述
成功后会改变为root账户

2、在命令行输入然后更改如下图所示（进入文件后按i进行编辑，退出按Esc键再输入:wq）

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

在这里插入图片描述
3、再在终端输入vim /etc/hostname
把名称改成hadoop100，如果是就不用改

vim /etc/hostname

在这里插入图片描述

4、配置主机名映射

在终端输入vim /etc/hosts

添加：

192.168.10.100 hadoop100 
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

在这里插入图片描述

然后重启reboot，重启后再ping baidu.com看看是不是有网，如果有网说明静态IP设置成功

三、xshll远程连接

1、下载xshll然后安装并连接

在这里插入图片描述

2、配置主机映射

进入C:\Windows\System32\drivers\etc文件夹找到hosts文件夹加入（win10不能直接添加，要把hosts文件拉到桌面然后更改后拉回去进行覆盖，如果还不明白可以搜：win10怎么修改hosts文件）

192.168.10.100 hadoop100 
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

在这里插入图片描述

四、模板虚拟机准备

1、安装epel-release

yum install -y epel-release

出现以下情况说明镜像源需要改变，解决办法
解决办法
在这里插入图片描述

2、关闭防火墙

systemctl stop firewalld

systemctl disable firewalld.service

在这里插入图片描述

3、为普通用户（我的是ffgang）获取root权限

vim /etc/sudoers

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/02cbfe9911b64f62bf065e45d696766d.pn

4、创建module和software文件

sudo mkdir /opt/module

sudo mkdir /opt/software

在这里插入图片描述

5、卸载虚拟机自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

重启

reboot

五、克隆三台虚拟机

1、创建完整克隆

克隆第一个虚拟机------hadoop102（示例）
首先关闭虚拟机hadoop100
在这里插入图片描述

2、更改IP、主机名

2.1、更改主机名为hadoop102

sudo vim /etc/hostname

在这里插入图片描述

2.2、更改IP

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

最后reboot重启虚拟机
剩下的hadoop103和hadoop104和上面一样，只要把主机名和IP改成顺延的就可以，切记！！！主机名（hadoop102）必须和映射IP一致（192.168.10.102）

六、安装JDK和Hadoop以及配置环境变量

1、将jdk和hadoop通过Xftp放到虚拟机里面

在这里插入图片描述

如果传输失败，可能是因为opt文件夹的权限不够，不能进行写入

sudo chmod -R 777 /opt/

0 [000] 无任何权限
4 [100] 只读权限
6 [110] 读写权限
7 [111] 读写执行权限

2、解压jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

在这里插入图片描述

3、创建环境变量

创建环境变量文档并加入环境变量

sudo vim /etc/profile.d/my_env.sh

把这段复制到文件中

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述
让修改的文件生效

source /etc/profile

测试环境变量是否成功

hadoop

在这里插入图片描述

java

在这里插入图片描述

4、用安全拷贝scp把jdk和hadoop同步到其他虚拟机上

首先看看hadoop103和hadoop104上有没有module和software。

ll /opt/

在这里插入图片描述
如果没有，就创建这两个文件夹，可以看“ 四、模板虚拟机准备的4、创建moudle和software”

然后分别进行拷贝到hadoop103和hadoop104上

scp -r /opt/module/ ffgang@hadoop103:/opt/

scp -r /opt/module/ ffgang@hadoop104:/opt/

在这里插入图片描述
如果拷贝不成功，可能还是opt文件夹下面的module和software文件夹没有写入权限，在hadoop103和hadoop104分别输入以下代码

sudo chmod -R 777 /opt/

5、创建xsync 集群分发脚本分发环境变量

cd
mkdir bin
cd bin
vim xsync

将下面代码放到文件里面

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

修改脚本 xsync 具有执行权限

 chmod 777 xsync

测试分发
在这里插入图片描述

用脚本分发环境变量文档

sudo ./bin/xsync /etc/profile.d/my_env.sh

在这里插入图片描述
测试有没有发放成功

cat /etc/profile.d/my_env.sh

在这里插入图片描述

七、集群配置

1、配置核心文件

1、core-site.xml

cd /opt/module/hadoop-3.1.3/etc/hadoop/

 vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 ffgang -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>ffgang</value>
 </property>
</configuration>

在这里插入图片描述

2、hdfs-site.xml

vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
</configuration>

在这里插入图片描述

3、yarn-site.xml

vim yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

在这里插入图片描述

4、mapred-site.xml

vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

在这里插入图片描述

2、在集群上分发配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

3、检查是否分发成功

cat /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

同理查看hadoop104
在这里插入图片描述

4、配置 workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

增加如下代码

hadoop102
hadoop103
hadoop104

在这里插入图片描述

分发

xsync /opt/module/hadoop-3.1.3/etc

在这里插入图片描述

八、启动集群

1、第一次启动要格式化

hdfs namenode -format

2、在hadoop102上启动 HDFS

cd /opt/module/hadoop-3.1.3/

sbin/start-dfs.sh

在这里插入图片描述

3、在hadoop103启动 YARNS

 sbin/start-yarn.sh

在这里插入图片描述

4、确认集群是否搭建好

在每个虚拟机上输入以下代码，看看集群节点是否可以启动

jps

hadoop102
在这里插入图片描述

hadoop103

在这里插入图片描述

hadoop104

在这里插入图片描述
和这个预期节点对比一下

如果有的没有显示出来，说明上面文件配置有问题，可以在网上搜索解决，但是对我们小白来说尽量别修改里面文件，容易出问题，我的建议是重新搭建，这样可以加深我们搭建集群的记忆和能力。

5、Web 端查看 HDFS 的 NameNode

浏览器中输入：http://hadoop102:9870
在这里插入图片描述

6、Web 端查看 YARN 的 ResourceManager

浏览器中输入：http://hadoop103:8088

在这里插入图片描述

显示出这些界面说明恭喜你！！！搭建成功了！！！！如果文章对你们有帮助，记得关注加点赞呦~~如果有什么问题欢迎在评论区交流，大家一起解决