Hadoop完全分布式搭建，保姆级教程，附有环境搭建代码！！！

搭建完全分布式

【前提条件】：

1） 准备3台centos虚拟机，主机名分别设置为hadoop01,hadoop02,hadoop03,ip分别设置为192.168.121.160/192.168.121.161/192.168.121.162

通过“完整克隆方式”克隆出hadoop02和hadoop03,

注意：使用nmtui修改ip地址后，一定要重新激活网络才能生效

2） 三台电脑之间的免密操作准备好

3） 分别修改集群中每台机器的hosts文件 （ vi /etc/hosts）,内容设置如下：

192.168.121.160 hadoop01

192.168.121.161 hadoop02

192.168.121.162 hadoop03

安装jdk

在hadoop01上创建目录并上传和解压jdk

1.创建目录

2.上传jdk

3.以解压的方式安装jdk

tar -zxvf  jdk-8u241-linux-x64.tar.gz  -C /export/servers/

注意：-C 表示设置解压后存放的位置

4.配置hadoop01上的jdk环境变量（vi /etc/profile）

5.验证jdk是否安装成功

6.分发jdk安装目录

【注意】：必须提前在hadoop02和hadoop03上创建好相应的目录

scp  -r  jdk8   root@hadoop02:/export/servers/ 
scp  -r  jdk8   root@hadoop03:/export/servers/

7.分发系统环境变量****，并在集群的每台机器上使用s*****ource /etc/profile*

安装Hadoop

1.上传并安装hadoop

注意：为了后续方便，我们使用mv将 Hadoop改名为Hadoop313

2.配置hadoop系统环境变量

3.验证hadoop环境变量是否配置成功

4.修改hadoop的配置文件

注意：先进入/export/servers/hadoop313/etc/hadoop目录

1）vi hadoop-env.sh

export  JAVA_HOME=/export/servers/jdk8
export  HDFS_NAMENODE_USER=root
export  HDFS_DATANODE_USER=root
export  HDFS_SECONDARYNAMENODE_USER=root
export  YARN_RESOURCEMANAGER_USER=root
export  YARN_NODEMANAGER_USER=root

2）vi core-site.xml

<configuration>
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:9000</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/export/data/hadoop313</value>
</property>
</configuration>

3）vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9868</value>
</property>
</configuration>

4）vi mapred-site.xml

<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>

5）vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop01</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
</configuration>

5.配置workers文件，添加如下内容

6.分发hadoop安装目录

scp  -r  hadoop313  root@hadoop02:/export/servers/
scp  -r  hadoop313  root@hadoop03:/export/servers/

7.分发/etc/profile文件到集群中的每一台机器，注意每台机器都要使用source /etc/profile 配置才能生效

8.在hadoop01上格式化hdfs文件系统

注意：格式化必须在Hadoop1上进行，并且只能执行一次

9.在hadoop01上启动hadoop

查看hadoop运行状态

注意：必须先分别在集群的3台机器中关闭防火墙并禁止防火墙开机启动

1）在宿主机的谷歌浏览器中输入：http://192.168.121.160:9870/ 用来查看HDFS

2）在宿主机的谷歌浏览器中输入：http://192.168.121.160:8088/ 用来查看YARN

1.关闭集群