Hadoop集群搭建（完全分布式）

---

一、安装准备工作

1、虚拟机准备（centos7）

master : 192.168.220.134
slave1 : 192.168.220.135
slave2 : 192.168.220.136

2、安装包准备（百度网盘下载）

Jdk1.8安装包
Hadoop安装包(版本2.9.2--稳定)

链接：https://pan.baidu.com/s/1En_ZYTj-jOCL2b0FY7FPkA
提取码：whrs

3、安装前说明

1、由于博主个人习惯，一般都是在 /usr/local 下安装，后续配置要跟着文件夹安装目录来，技术稍差的就跟我的文件夹安装目录来。
2、将从网盘下载的 jdk+hadoop安装包上传至 /usr/local 文件夹下
2、三台服务器要网络通畅，能用xhsll之类工具连接上
3、服务器需关闭防火墙

二、安装

1、修改主机名和hosts

##三台机器分别修改为master、slave1、slave2

#打开文件删除原来名称，输入新名称，保存退出
vim /etc/hostname
#重启生效
reboot
#重新连接后修改hosts域名映射
vim /etc/hosts
#在配置文件中加上如下配置（根据自己的IP来）
192.168.220.134    master
192.168.220.135    slave1
192.168.220.136    slave2
#保存退出使之生效
source /etc/hosts

2.关闭防火墙

##三台机器需都执行

service firewalld stop

3、安装包解压

cd /usr/local
tar -zxvf hadoop-2.9.2.tar.gz
tar -zxvf jdk-8u261-linux-x64.tar.gz
#改名
mv hadoop-2.9.2 hadoop
mv jdk1.8.0_261 java

4.配置环境变量

vim /etc/profile

#将下面内容放到最下面
export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#使环境变量生效
. /etc/profile

#检测Jdk和Hadoop是否安装成功
[root@master local]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

[root@master local]# hadoop version
Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.9.2.jar

5、修改Hadoop配置

#进入到hadoop配置文件夹下
cd /usr/local/hadoop/etc/hadoop

5.1、core-site.xml

<configuration>
        <!-- 指定namenode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <!--用来指定hadoop产生文件存放的目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/tmp/hadoop</value>
        </property>
</configuration>

5.2、hdfs-site.xml

<configuration>
        <!--指定hdfs保存数据的副本数量 -->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--指定hdfs中namenode的存储位置 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/tmp/hadoop/name</value>
        </property>
        <!--指定hdfs中datanode的存储位置 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/tmp/hadoop/data</value>
        </property>
        
        <property>
                <name>dfs.secondary.http.address</name>
                <value>slave1:50070</value>
        </property>
</configuration>

5.3、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <!--namenodeManager获取数据的方式是shuffle -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
        </property>
</configuration>

5.4、将mapred-site.xml.template复制一份为mapred-site.xml，在mapred-site.xml中修改

cp mapred-site.xml.template  mapred-site.xml
vim mapred-site.xml

#在mapred-site.xml中添加如下内容
<configuration>
        <!-- 告诉hadoop以后MR运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5.5、修改slaves

添加如下节点
master
slave1
slave2

5.6、修改hadoop-env.sh中jdk的路径
vim hadoop-env.sh

找到export JAVA_HOME={}这行，修改为我们的jdk路径
# The java implementation to use.
export JAVA_HOME=/usr/local/java

5.7、修改yarn-env.sh中jdk路径

# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/local/java

6、同步slave1节点和slave2节点

#同步环境变量配置 需要输入另外俩台服务器的密码
#同步至slave1中
scp /etc/hosts slave1:/etc/
scp /etc/profile slave1:/etc/
scp -r /usr/local/hadoop slave1:/usr/local
scp -r /usr/local/java slave1:/usr/local

#同步至slave2中
scp /etc/hosts slave2:/etc/
scp /etc/profile slave2:/etc/
scp -r /usr/local/hadoop slave2:/usr/local
scp -r /usr/local/java slave2:/usr/local

#再去slave1节点和slave2节点使配置生效
source /etc/profile
source /etc/hosts

三、启动准备

配置三台机器的秘钥，将三台机器打通ssh，比较简单

#执行下面命令按三下回车就行(三台机器都需执行)
ssh-keygen
cd ~/.ssh

回到master机器上

cd ~/.ssh
#将秘钥追加到authorized_keys上
cat id_rsa.pub >> authorized_keys
#再将另外俩台机器slave1和slave2的id_rsa.pub中的秘钥粘贴复制到master中的authorized_keys中
这样三台机器的秘钥就都在一个文件上了，再将master中的authorized_keys复制到slave1和slave2中
cd ~/.ssh
scp authorized_keys slave1:~/.ssh
scp authorized_keys slave2:/~.ssh

四、启动访问

#在master节点执行 进行格式化
cd /usr/local/hadoop/etc/hadoop
hdfs namenode -format
#启动
cd /usr/local/hadoop/sbin
./start-all.sh

访问web页面
http://master节点IP:50070/
访问成功：