【Hadoop3.1.X-2-Hadoop搭建】

Hadoop运行环境搭建

1.Hadoop集群搭建

• 1.VMware搭建
• 2.Centos7.5软硬件安装
• 3.虚拟机、宿主机的ip和主机名相关配置
• 4.Xshell远程访问工具
• 5.模板虚拟机搭建
• 6.克隆三台服务器
• 7.JDK安装
• 8.Hadoop安装
• 9.本地运行模式
• 10.scp、rsync、xsync命令以及分发脚本开发
• 11.ssh免密登录
• 12.集群配置
• 13.集群统一启动并测试
• 14.历史服务器配置
• 15.日志聚集功能配置
• 16.常用脚本的开发

2.Hadoop常用端口号

• Hadoop 3.x常用端口号
  • HDFS NameNode 内部通用端口：8020/9000/9820
  • HDFS NameNode 对用户的查询端口：9870
  • Yarn查看任务运行情况端口：8088
  • 历史服务器端口：19888
• Hadoop 2.x常用端口号
  • HDFS NameNode 内部通用端口：8020/9000
  • HDFS NameNode 对用户的查询端口：50070
  • Yarn查看任务运行情况端口：8088
  • 历史服务器端口：19888

3.常用配置文件

• 3.x : core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
• 2.x : core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

4.java和Hadoop配置文件的独立出来

可以在linux服务器查看，/etc/profile文件，里面有配置如下：

在进行此文件加载的时候，会读取/etc/profile.d/下面所有的sh结尾的文件，所以直接配置我们自己的环境变量即可。

sudo vim /etc/profile.d/myenv.sh

配置完成之后，直接source /etc/profile 即可实现之前直接配置/etc/profile的效果。

5.HDFS三种模式

本地模式仅仅是测试的时候使用，测试本台服务器是否可以运行，可以使用如下命令来进行处理：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutput

• 注意，你需要在当前目录下创建wcinput这个目录，以及将要统计的单词写入到此目录的文件下。

6.完全分布式搭建

• 1. 搭建完全分布式模式之前，需要书写一个同步脚本，将本地文件同步到其他服务器上，同步脚本如下：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

• 2. 免密登录操作
     免密登录相关的解释
     
  • 1.生成公钥和私钥，在/home/yang/.ssh下面进行操作
    输入命令：ssh-keygen -t rsa
    -2.将公钥和分发到其他服务器上。
    ssh-copy-id hadoop102
    ssh-copy-id hadoop103
    ssh-copy-id hadoop104
    注意：

需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

• 3.集群配置
  首先，创建集群的时候需要进行规划集群配置，当前集群有三台服务器，HDFS搭建中相关角色的配置如下：
  
  注意：

NameNode和SecondaryNameNode不要安装在同一台服务器
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

需要对四个文件进行相关的配置，具体配置信息
（1）核心配置文件
配置core-site.xml

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>yang</value>
    </property>
</configuration>

(2).配置hdfs-site.xml

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置文件

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• 4.分发配置，以及启动服务
  • 配置workers文件，添加集群所有节点
  • 分发配置：
    • xsync /opt/module/hadoop-3.1.3/etc/hadoop/
    • xsync /opt/module/hadoop-3.1.3/etc/hadoop/workers
  • 启动服务：
    • hdfs namenode -format 第一次启动时候，格式化namenode
    • sbin/start-dfs.sh 启动hdfs
    • sbin/start-yarn.sh 启动yarn，在resourceManager所在的服务器上启动
• 5.webUI查看数据
  （1）Web端查看HDFS的NameNode
  （a）浏览器中输入：http://hadoop102:9870
  （b）查看HDFS上存储的数据信息
  （2）Web端查看YARN的ResourceManager
  （a）浏览器中输入：http://hadoop103:8088
  （b）查看YARN上运行的Job信息

7.配置历史服务器

• 1.配置mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

• 2.分发到其他节点
  xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

• 3.启动历史服务器

mapred --daemon start historyserver

• 4.查看JobHistory的WebUI

http://hadoop102:19888/jobhistory

8.配置日志聚集功能

• 1.配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

• 2.分发配置
• 3.关闭历史服务器和yarn服务

sbin/stop-yarn.sh

mapred --daemon stop historyserver

• 4.启动yarn和历史服务器

sbin/start-yarn.sh

mapred --daemon start historyserver

9.常用脚本的封装

• 1. hadoop集群启停脚本

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

• 2.查看三台服务器Java进程脚本

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

• 3.授权并分发上面两个脚本到集群其他节点

chmod +x myhadoop.sh
chmod +x jpsall
xsync /home/atguigu/bin/