大数据之hadoop运行模式（完全分布式搭建）

Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

        ➢ 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 

        ➢ 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模 拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

        ➢ 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

1、本地运行模式

        例子：执行官方统计单词的文档WordCount

        ·创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹：mkdir wcinput

        ·在文件下创建一个word.txt文件：cd wcinput，编辑文件：vim word.txt，输入随机的单词。

        ·回到目录执行程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

        ·查看结果：cat wcoutput/part-r-00000

 2、完全分布式搭建

        ·准备三台客户机（关闭防火墙、静态IP、主机名称），hadoop102（前面已经将一些环境配置好了，现在将配置好的环境分发给hadoop103和hadoop104）、hadoop103、hadoop104

        ·安装JDK

        ·配置环境变量

        ·安装hadoop

        ·配置环境变量

以上环境在前面已经配置，再次就不再总结。

        ·配置集群

1）、编写集群分发脚本xsync（前提是在hadoop上已经创建好文件保存）：

        scp（安全拷贝）和rsync（远程同步工具）

scp基本语法：    scp -r $pdir/$fname $user@$host:$pdir/$fname    命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称	rsync基本语法：rsync -av $pdir/$fname $user@$host:$pdir/$fname   命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
可以实现服务器与服务器之间的数据拷贝	主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
scp 是把所有文件都复制过去。	用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新

         xsync：集群分发脚本（为了解决以上两种方式繁琐的输入数据地址而设计的）

                首先在/home/atguigu/bin （主要是该目录是声明了全局环境变量的路径，可以使得脚本在任何路径上都能使用）目录下创建 xsync 文件后，编写脚本代码：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

 修改脚本 xsync 具有执行权限：chmod +x xsync

        ·单点启动

        ·配置ssh

ssh无密钥配置：免密登录原理

 在hadoop102上生成公钥和私钥：cd  /home/atguigu/.ssh       ssh-keygen -t rsa

然后将公钥拷贝到要免密登录的目标机器上：ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104

        ·群起并测试集群

1）、集群部署规划

        ➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器

         ➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。

2）、配置集群（对核心配置文件进行修改）

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上

        配置core-site.xml（）：cd $HADOOP_HOME/etc/hadoop  vim core-site.xml。文件内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>atguigu</value>
 </property>
</configuration>

         配置HDFS配置文件（配置hdfs-site.xml）：vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
</configuration>

        配置YARN配置文件：vim yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

        配置MapReduce配置文件：vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

        最后将配置好的hadoop配置文件分发到hadoop103和hadoop104

常用端口号说明