hadoop集群搭建(系统Debian，ssh工具MobaXterm)

Hadoop3.1.3安装包和jdk8安装包（https://pan.baidu.com/s/1YA3F88dbArXWfPTc4dbqyw 提取码：xm94）

需要同时配置多台服务器MobaXterm提供同时操作多态服务器的方法，很实用，在开启多个服务器页面后点击下图的按钮就可以了

前置

（1）确保网络通常，即ping www.baidu.com成功
（2）关闭防火墙，关闭防火墙开机自启动(没有安装所以作者不需要操作这个)

$ systemctl stop firewalld
$ systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙关闭时。公司整体对外会设置非常安全的防火墙
（3）安装sudo，并给予mgmt用户sudo权限

$ apt-get install -y sudo

$ vim /etc/sudoers

在/etc/sudoers文件中添加以下内容（sudo免密码）

mgmt    ALL=(ALL:ALL) NOPASSWD:ALL

安装JDK8

（1）在每个服务器的/opt/目录下创建module目录

$ mkdir /opt/module

（2）将下载的JDK8安装包拷贝到/opt/module目录下
解压

$ cd /opt/module
$ tar xvf jdk-8u212-linux-x64.tar.gz

（3）添加环境变量

$ vim /etc/profile.d/Java.sh

在/etc/profile.d/Java.sh中添加以下内容：

export JAVA_HOME="/opt/module/jdk1.8.0_212"
export PATH="$PATH:$JAVA_HOME/bin"

(4)然后加载环境变量

$ source /etc/profile

查看java版本

$ java -version

安装Hadoop（版本为3.1.3）

（1）将下载的Hadoop包拷贝到/opt/module目录下
解压

$ cd /opt/module
$ tar xvf hadoop-3.1.3.tar.gz

（2）添加环境变量

$ vim /etc/profile.d/Hadoop.sh

在/etc/profile.d/Hadoop.sh中添加以下内容：

export HADOOP_HOME="/opt/module/hadoop-3.1.3"
export PATH="$PATH:$HADOOP_HOME/bin"
export PATH="$PATH:$HADOOP_HOME/sbin"

（3）然后加载环境变量

$ source /etc/profile

查看hadoop是否安装成功

$ hadoop

本地运行模式

创建一个测试目录

$ cd ~
$ mkdir test
$ cd test
$ vim test.txt

随便添加内容用于测试，比如添加一下内容：

sf ees
sf aaa
fffd
sdfe
sdfe
sdfe

执行如下内容：

$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount . ./output

查看计算结果：

$ cat output/part-r-00000

结果(得到的是每个单词的数量)：

aaa     1
ees     1
fffd    1
sdfe    3
sf      2

完全分布式运行模式（重点）

xsync集群分发脚本

（1）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

root@TestNode1:~/test# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin

（2）脚本实现

（a）在/etc/hosts添加其他节点信息（用虚拟机最好在自己电脑上也添加，windows路径C:\Windows\System32\drivers\etc）

$ vim /etc/hosts

添加以下内容（这是我的虚拟机IP，请改为自己的服务器IP和hostname）：
192.168.1.221   TestNode1
192.168.1.222   TestNode2
192.168.1.223   TestNode3
192.168.1.224   TestNode4

（b）安装rsync

$ apt-get install rsync

（c）在/usr/bin 目录下创建xsync文件

$ cd /usr/bin
$ vim xsync

（d）在该文件中编写如下代码：

#!/bin/bash

#1.判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2.遍历集群所有机器
for host in TestNode1 TestNode2 TestNode3 TestNode4
do
    echo ====================== $host ======================
    #3.遍历所有目录，挨个发送
    for file in $@
    do
        #4.判断文件是否存在
        if [ -e $file ]
            then
                #5.获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                
                #6.获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
                

（e）添加执行权限

$ chmod +x xsync

（f）测试

$ cd ~
$ touch 1.txt
$ xsync 1.txt

ssh免密

（a）生成ssh密钥

$ ssh-keygen -t rsa
然后三次回车

（b）将公钥拷贝给其他节点

ssh-copy-id TestNode1
ssh-copy-id TestNode2
ssh-copy-id TestNode3
ssh-copy-id TestNode4

集群配置

（a）集群部署规划
注意：
NameNode和SecondaryNameNode不要安装在同一台服务器
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	TestNode1	TestNode2	TestNode3	TestNode4
HDFS	NameNode & DataNode	DataNode	SecondatyNameNode & DataNode	DataNode
YARN	NodeManager	ResourceManager & NodeManager	NodeManager	NodeManager

（b）配置文件说明
Hadoop配置文件分为两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置文件时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：
./share/hadoop/对应文件夹下

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

（3）核心配置文件
配置core-site.xml

$ cd $HADOOP_HOME/etc/hadoop
$ vim core-site.xml

在中间添加内容,结果如下:

<configuration>
    <!-- hdfs的位置 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <!-- hadoop运行时产生的缓冲文件存储位置 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/tmp</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 mgmt -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>mgmt</value>
    </property>
</configuration>

配置hdfs-site.xml

$ vim hdfs-site.xml

在中间添加内容,结果如下:

<configuration>
    <!-- hdfs 数据备份数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!-- hdfs namenode上存储hdfs名字空间元数据 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/module/hadoop-3.1.3/hdfs/name</value>
    </property>

    <!-- hdfs datanode上数据块的物理存储位置 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/hdfs/data</value>
    </property>
      </property>
    <property>
        <name>dfs.http.address</name>
        <value>TestNode1:50070</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>TestNode3:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

</configuration>

配置yarn-site.xml

$ vim yarn-site.xml

在中间添加内容,结果如下:

<configuration>
    <!-- Site specific YARN configuration properties -->

    <!--  yarn 的 hostname -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>TestNode2</value>
    </property>

    <!--  yarn Web UI address -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
    </property>

    <!--  reducer 获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置mapred-site.xml

$ vim mapred-site.xml

在中间添加内容,结果如下:

<configuration>
    <!--  mapreduce运行的平台 默认local本地模式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）在集群上分发配置好的Hadoop配置文件

$ xsync /opt/module/hadoop-3.1.3/etc/hadoop

（5）去其他节点查看分发是否成功

$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

1.配置works

$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中添加所有节点名（hostname）:

TestNode1
TestNode2
TestNode3
TestNode4

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空格

同步所有节点配置文件

$ xsync /opt/module/hadoop-3.1.3/etc

2.启动集群（使用mgmt账户，用root需要修改文件）
（1）如果集群第一次启动，需要在TestNode1节点格式化NameNode(TestNode1)

$ hdfs namenode -format

（2）启动HDFS(TestNode1)

$ start-dfs.sh

注：如果要暂停则把start改为stop
（a）遇到问题1

ERROR: JAVA_HOME is not set and could not be found.

参考：https://blog.csdn.net/chun19920827/article/details/74924434
在/opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh中添加

export JAVA_HOME="/opt/module/jdk1.8.0_212"

分发给其他节点

$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

（3）在配置了ResourceManager的节点（TestNode2）启动YARN

$ start-yarn.sh

访问Web UI

Daemon	Web Interface
NameNode	http://192.168.1.221:50070
Resourcemanager	http://192.168.1.222:8088
MapReduce JobHistory Server	http://192.168.1.221:19888
SecondatyNameNode	http://192.168.1.223:50090

集群基本测试

1.上传文件到集群
（1）上传小文件

$ hadoop fs -mkdir /input
$ hadoop fs -put ~/test/test.txt /input

（2）上传大文件

$ hadoop fs -put /opt/module/jdk-8u212-linux-x64.tar.gz /

2.上传文件后查看文件存放在什么位置
HDFS文件存储路径

/opt/module/hadoop-3.1.3/hdfs/data/current/BP-780279612-192.168.1.221-1648715936049/current/finalized/subdir0/subdir0

查看HDFS在磁盘存储文件内容

$ cat blk_1073741825
afas
safsa
ddss
afas dff
dss afas afas

3.拼接

$ cat blk_1073741826 >> tmp.tar.gz
$ cat blk_1073741827 >> tmp.tar.gz
解压
$tar -zxvf tmp.tar.gz

4.下载

$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

5.执行wordcount程序

$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置历史服务器

配置mapred-site.xml

$ vim mapred-site.xml

添加以下内容：

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>TestNode1:10020</value>
    </property>
    
    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>TestNode1:19888</value>
    </property>

分发配置

$ xsync etc/hadoop/

在TestNode1启动历史服务器（先把yarn关掉,启动后再开）

$ mapred --daemon start historyserver

查看JobHistory
http://TestNode1:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
注意：开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer

1.配置yarn-site.xml

$ vim yarn-site.xml

添加以下内容：

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property> 
        <name>yarn.log.server.url</name> 
        <value>http://TestNode1:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

2.分发配置

$ xsync etc/hadoop/yarn-site.xml

3.关闭NodeManager、ResourceManager和HistoryServer

在TestNode2上
$ stop-yarn.sh

在TestNode1上
$ mapred --daemon stop historyserver

4.启动NodeManager、ResourceManager和HistoryServer

在TestNode2上
$ start-yarn.sh

在TestNode1上
$ mapred --daemon start historyserver

5.删除HDFS上存在的输出文件，然后运行wordcount程序

$ hadoop fs -rm -r /output
$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

6.可以在历史服务器中查看日志

集群启动/停止方式总结

1.歌迷快分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS

$ start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

$ start-yarn.sh/stop-yarn.sh

2.各服务器组件逐一启动/停止
（1）分别启动/停止HDFS组件

$ hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）分别启动/停止YARN组件

$ yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

1.Hadoop集群启停脚本（包含HDFS，YARN，HistoryServer）：myhadoop.sh

$ sudo vim /usr/bin/myhadoop.sh

输入以下内容

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop 集群 ==================="
        echo " --------------- 启动 hdfs ---------------"
        ssh TestNode1 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh TestNode2 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh TestNode1 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop 集群 ==================="
        echo " --------------- 关闭 historyserver ---------------"
        ssh TestNode1 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh TestNode2 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh TestNode1 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
     echo "Input Args Error..."
;;
esac

保存退出后，赋予脚本执行权限

$ sudo chmod +x myhadoop.sh

2.查看各服务器Java进程脚本：jpsall

$ sudo vim /usr/bin/jpsall

输入以下内容：

#!/bin/bash

for host in TestNode1 TestNode2 TestNode3 TestNode4
do
   echo =============== $host ===============
   ssh $host "/opt/module/jdk1.8.0_212/bin/jps"
done

赋予可执行权限

$ sudo chmod +x /usr/bin/jpsall

分发脚本(遇到权限问题，用root分发)

$ xsync /usr/bin/jpsall

常用端口号

hadoop3.x
  HDFS NameNode 内部通常端口：8020/9000/9820
  HDFS NameNode 对用户的查询端口：9870
  Yarn查看任务运行情况：8088
  历史服务器：19888

hadoop2.x
  HDFS NameNode 内部通常端口：8020/9000
  HDFS NameNode 对用户的查询端口：50070
  Yarn查看任务运行情况：8088
  历史服务器：19888

常用的配置文件

3.x core-sit.xml hadfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-sit.xml hadfs-site.xml yarn-site.xml mapred-site.xml slaves

集群时间同步（能够连接外网时不需要）

略