【大数据之Hadoop】二、Hadoop生产集群搭建之完全分布式集群

1 运行准备

(1)准备3台客户机（关闭防火墙、设置静态IP和主机名称）
(2)安装JDK，配置环境变量
(3)安装Hadoop，配置环境变量
(4)配置集群
(5)单点启动
(6)配置ssh
(7)群起并测试集群

2 编写集群分发脚本xsync

集群分发脚本
在/home/用户名/bin目录下创建xsync文件

#!/bin/bash

#1. 判断参数个数
if [$# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
forhost in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file);pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p$pdir"
                rsync -av $pdir/$fname$host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

赋予脚本权限：chmod 777 xsync
测试脚本：xsync /home/用户名/bin
将脚本复制到/bin中，供全局使用：sudo cp xsync /bin/
前提，先给hadoop102配置jdk和hadoop，再通过集群分发拷贝到hadoop103和hadoop104上。

分发文件时用了sudo需要补全脚本路径：sudo 脚本路径 文件路径。

[liao@hadoop102~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

3 ssh免密登录

（1）服务器A生成公钥私钥。
（2）服务器A把公钥拷贝到服务器B上，即两个服务器达成协议表示可访问。
（3）A用ssh访问B（访问数据用A的私钥加密）。
（4）B接收到数据之后到授权的key中找是否有A发送过来的公钥，若有则解密。
（5）B将解密后的数据用A公钥加密返回给A。（公钥A加密的数据只有A可以看，保证数据的可靠性）。
（6）A接收到数据之后用A私钥来解加密的数据。此后正常通信。

可以理解为把公钥发给谁，就和谁免密通信。

生成公钥和私钥：ssh-keygen -t rsa，然后三个回车，生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)。

将公钥拷贝到要免密登录的目标机器上：ssh-copy-id hadoop103，需要在hadoop103上采用liaoyanxia账号配置免密登录到hadoop102和hadoop103；还需要在hadoop102上采用liaoyanxia账号配置免密登录到hadoop102和hadoop103。

4 分布式集群配置

因为NameNode和SecondaryNameNode耗内存，所以分别配置在不同的节点上；同样ResourceManager也很耗内存，所以也不和NameNode和SecondaryNameNode配置在同一个节点。

（1）分布式集群配置：

core-site.xml核心配置文件
<configuration>
   <!-- 指定NameNode的地址 -->
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop102:8020</value>
   </property>

   <!-- 指定hadoop数据的存储目录 -->
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/module/hadoop-3.3.1/data</value>
   </property>

   <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
   <property>
       <name>hadoop.http.staticuser.user</name>
       <value>atguigu</value>
   </property>
</configuration>

hdfs-site.xml HDFS配置文件
<configuration>
   <!-- nn web端访问地址-->
   <property>
       <name>dfs.namenode.http-address</name>
       <value>hadoop102:9870</value>
   </property>
   <!-- 2nn web端访问地址-->
   <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>hadoop104:9868</value>
   </property>
</configuration>

yarn-site.xml YARN配置文件
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManager的地址-->
    <property>
       <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承-->
    <property>
       <name>yarn.nodemanager.env-whitelist</name>
       <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>    
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

mapred-site.xml MapReduce配置文件
<configuration>
   <!--指定MapReduce程序运行在Yarn上-->
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   <!-- 历史服务器端地址-->
    <property>
       <name>mapreduce.jobhistory.address</name>
       <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器web端地址-->
    <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>hadoop102:19888</value>
    </property>
</configuration>

集群上分发配置好的Hadoop配置文件。

xsync /opt/module/hadoop-3.3.1/etc/hadoop/

（2）群起集群
配置workers：vim /opt/module/hadoop-3.3.1/etc/hadoop/workers 文件中添加的内容结尾不允许有空格，文件中不允许有空行。

hadoop102
hadoop103
hadoop104

同步配置文件：xsync /opt/module/hadoop-3.3.1/etc

（3）启动集群
第一次启动集群，需要在hadoop102节点格式化NameNode：hdfs namenode -format
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据（因为DataNode版本号是唯一绑定的）。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

在hadoop102节点启动hdfs：sbin/start-dfs.sh 浏览器中查看NameNode：http://hadoop102:9870

在hadoop103节点启动yarn：sbin/start-yarn.sh 浏览器中查看ResourceManager：http://hadoop103:8088 查看job信息

在hadoop102节点启动历史服务器：mapred --daemon start historyserver 在浏览器中查看JobHistory：http://hadoop102:19888/jobhistory

（4）集群测试
在hdfs文件管理系统中新建文件夹：hadoop fs -mkdir /input
从本地上传文件到hdfs文件管理系统：hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
运行wordcount程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

（5）集群启动和停止方式

分别启动/停止HDFS组件：hdfs --daemon start/stop namenode/datanode/secondarynamenode
分别启动/停止YARN：yarn --daemon start/stop resourcemanager/nodemanager
整体启动/停止HDFS：start-dfs.sh/stop-dfs.sh
整体启动/停止YARN：start-yarn.sh/stop-yarn.sh

（6）常用脚本
/home/用户名/bin中新建myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
   echo "No Args Input..."
   exit ;
fi

case $1 in
"start")
       echo " =================== 启动 hadoop集群==================="

       echo " --------------- 启动 hdfs---------------"
       ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
       echo " --------------- 启动 yarn---------------"
       ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
       echo " --------------- 启动 historyserver---------------"
       ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon starthistoryserver"
;;
"stop")
       echo " =================== 关闭 hadoop集群==================="

       echo " --------------- 关闭 historyserver---------------"
       ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stophistoryserver"
       echo " --------------- 关闭 yarn---------------"
       ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
       echo " --------------- 关闭 hdfs---------------"
       ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
   echo "Input Args Error..."
;;
esac

赋予权限：chmod 777 myhadoop.sh
/home/用户名/bin中新建jpsall

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
       echo =============== $host ===============
       ssh $host jps 
done

赋予权限：chmod 777 jpsall
分发目录到三台机器上：xsync /home/用户名/bin/
启动集群：myhadoop.sh start
关闭集群：myhadoop.sh stop
查看jps：jpsall

5 集群时间同步

生产环境中，如果服务器能连接外网则不需要时间同步，因为服务器会定期和公网时间进行校准。

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

6 开发和面试的重点