大数据Hadoop学习之运行模式1

Hadoop运行模式

Hadoop运行模式包括：

1. 本地模式：单机运行，数据存储在Linux本地，只是用来演示一下官方案例。生产环境不用。
2. 伪分布式模式：也是单机运行，数据存储在HDFS，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
3. 完全分布式模式：多台服务器组成分布式环境，数据存储在HDFS。生产环境使用。

1.本地运行模型（官方wordcount）

1）在hadoop-3.1.3文件下面创建一个wcinput文件夹

命令：mkdir wcinput

2）在wcinput文件下创建一个word.txt文件

命令：cd wcinput

3）编辑word.txt文件

命令：vim word.txt
添加以下内容：

hadoop yarn
hadoop mapreduce
hdfs
hdfs

4）回到Hadoop目录/opt/module/hadoop-3.1.3

5）执行程序

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

注意：

• 按两次Tab提示补全文件名
• 输出的路径必须不存在，否则会报错

6）查看结果

命令：cat wcoutput/part-r-00000

2.完全分布式运行模型（开发重点）

1）虚拟机准备（前文已创建）

2）编写集群分发脚本xsync

1、scp（secure copy）安全拷贝

（1）scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

• scp：命令
• -r：递归
• $ pdir/$ fname：要拷贝的文件路径/名称
• $ user@$ host:$ pdir/$ fname：目的地用户@主机:目的地路径/名称

（3）拷贝实操

1.在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

命令：scp -r /opt/module/jdk1.8.0_212 yaoli@hadoop103:/opt/module
遇到问题：

问题根源：

分析：配置主机映射时，没有修改对应的主机号。
解决问题： 修改对应的主机号即可。

2.在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。

命令：scp -r yaoli@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

3.在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。

命令：scp -r yaoli@hadoop102:/opt/module/* yaoli@hadoop104:/opt/module

2、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）基本语法

1. rsync：命令
2. -av：递归
3. $ pdir/$ fname：要拷贝的文件路径/名称
4. $ user@$ host:$ pdir/$ fname：目的地用户@主机:目的地路径/名称
   选项参数说明： -a：归档拷贝；-v：显示复制过程

（2）同步实操

1.删除hadoop103中/opt/module/hadoop-3.1.3/wcinput和wcoutput

命令：rm -rf wcinput/ wcoutput/

2.同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

命令：rsync -av hadoop-3.1.3/ yaoli@hadoop103:/opt/module/hadoop-3.1.3/
遇到问题：

找到原因： 在root用户在创建的wcinput文件夹，导致权限过大访问不了。
解决方法： 在普通用户下创建文件夹即可。

3、xsync集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

1. rsync命令原始拷贝：
   rsync -av /opt/module yaoli@hadoop103:/opt/
2. 期望脚本：
   xsync要同步的文件名称
3. 期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
   

（3）脚本实现：

a. 在/home/yaoli/bin目录下创建xsync文件

cd /home/yaoli
mkdir bin
cd bin
vim xsync

在该文件中添加如下代码：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

b. 修改脚本 xsync 具有执行权限

在创建的bin目录下，命令：chmod +x xsync

c. 测试脚本

~目录下，命令：xsync /home/yaoli/bin

d. 同步环境变量配置（root所有者）

~目录下，命令：sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效：source /etc/profile

3）SSH无密登录配置

免密登录原理图

1.生成公钥和私钥

.ssh目录下，命令：ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

2.将公钥拷贝到要免密登录的目标机器上

.ssh目录下，命令：ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104
注意：

• 还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
• 还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
• 还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104.

3…ssh文件夹下（~/.ssh）的文件功能解释

• known_hosts：记录ssh访问过计算机的公钥（public key）
• id_rsa：生成的私钥
• id_rsa.pub：生成的公钥
• authorized_keys：存放授权过的无密登录服务器公钥

4）集群配置

1.集群部署规划

注意：

• NameNode和SecondaryNameNode不要安装在同一台服务器
• ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
  

2.配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

a 默认配置文件：

b 自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

3.配置集群

（1）核心配置文件，配置core-site.xml

命令：cd $HADOOP_HOME/etc/hadoop， vim core-site.xml
添加内容如下：

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
</configuration>

（2）HDFS配置文件，配置hdfs-site.xml

命令：vim hdfs-site.xml
添加内容如下：

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置文件，配置yarn-site.xml

命令：vim yarn-site.xml
添加内容如下：

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件，配置mapred-site.xml

命令：vim mapred-site.xml
添加内容如下：

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.在集群上分发配置好的Hadoop配置文件

命令：xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5.去103和104上查看文件分发情况

命令：cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

5）群起集群

1.配置workers

命令：vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件
命令：xsync /opt/module/hadoop-3.1.3/etc

2.启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode

（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

hadoop-3.1.3目录下，命令：hdfs namenode -format

（2）启动HDFS

命令：sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

hadoop-3.1.3目录下，命令：sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

1. 浏览器中输入：http://hadoop102:9870
2. 查看HDFS上存储的数据信息
   

（5）Web端查看YARN的ResourceManager

• 浏览器中输入：http://hadoop103:8088
• 查看YARN上运行的Job信息
  

3.集群基本测试

（1）上传文件到集群

• 上传小文件
  命令：hadoop fs -mkdir /input，hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
  
  

• 上传大文件
  命令：hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
  

（2）上传文件后查看文件存放在什么位置

• 查看HDFS文件存储路径
  
• 查看HDFS在磁盘存储文件内容
  

（3）拼接

命令：cat blk_1073741826>>tmp.tar.gz，cat blk_1073741827>>tmp.tar.gz，tar -zxvf tmp.tar.gz

（4）下载

hadoop104主机上，命令：hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行wordcount程序

hadoop102主机上，命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput