hadoop运行模式和相关配置(主要是完全分布式hadoop集群搭建与测试)

最新推荐文章于 2022-03-03 20:42:48 发布

Ramelon

最新推荐文章于 2022-03-03 20:42:48 发布

阅读量391

点赞数

分类专栏： hadoop完全分布式集群文章标签： hadoop big data ssh

本文链接：https://blog.csdn.net/Ramelon/article/details/120401982

版权

hadoop完全分布式集群专栏收录该内容

2 篇文章 1 订阅

订阅专栏

单机模式/本地运行模式/Local (Standalone) Mode

demo：

1、在hadoop-3.1.3目录下创建一个wcinput文件夹。

[ramelon@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2、在wcinput文件夹下创建一个word.txt

[ramelon@hadoop102 wcinput]$ vim word.txt
并输入一下内容，保存并退出。
ss ss
cls cls
banzhang
bobo
yangge

3、回到目录/opt/module/hadoop-3.1.3。(若不会到此目录，命令中的地址要用绝对地址也可)

[ramelon@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutpu

4、查看结果。

[ramelon@hadoop102 hadoop-3.1.3]$ cd wcoutput/
[ramelon@hadoop102 wcoutput]$ cat part-r-00000 
结果如下：
banzhang	1
bobo	1
cls	2
ss	2
yangge	1

伪分布式模式(Pseudo-Distributed Mode)

完全分布式模式(Fully-Distributed Mode)

1、准备3台客户机（关闭防火墙、静态IP、主机名称）

2、安装JDK

3、配置环境变量

4、安装Hadoop

5、配置环境变量

以上相关操作见前文档。

6、配置集群

scp(secure copy)安全拷贝

Linux scp 命令用于 Linux 之间复制文件和目录。

scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。

scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。

基本语法

scp    -r        $pdir/$fname       $user@$host:$pdir/$fname
命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

实验：

将hadoop102上/opt目录下的/module下的jdk和hadoop文件拷贝到hadoop103，hadoop104。

注意要将module下多有的文件的所属用户所属组都要改成对应的用户，我这里就是ramelon。

[ramelon@hadoop102 ~]$ sudo chown ramelon:ramelon -R /opt/module
(-R : 处理指定目录以及其子目录下的所有文件)

a、在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_301目录拷贝到hadoop103上。

[ramelon@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_301 ramelon@hadoop103:/opt/module

b、在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。

[ramelon@hadoop103 ~]$ scp -r ramelon@hadoop102/opt/module/hadoop-3.1.3 ramelon@hadoop103:/opt/module

c、在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。

[ramelon@hadoop103 ~]$ scp -r ramelon@hadoop102:/opt/module/* ramelon@hadoop104:/opt/module

rsync

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

**rsync和scp区别：**用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

rsync    -av       $pdir/$fname        $user@$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
-a	归档拷贝
-v	显示复制过程

实验：

a、删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[ramelon@hadoop103 ~]$ rm -rf /opt/module/hadoop-3.1.3/wcinput

b、同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[ramelon@hadoop102 ~]$ rsync -av /opt/module/hadoop-3.1.3 ramelon@hadoop103:/opt/module/hadoop-3.1.3

xsync集群分发脚本

需求：循环复制文件到所有节点的相同目录下

需求分析：

（a）rsync命令原始拷贝：

[ramelon@hadoop102 ~]$ rsync -av /opt/module/hadoop-3.1.3 ramelon@hadoop103:/opt/module/hadoop-3.1.3

（b）期望脚本：

xsync    要同步的文件名称

（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[ramelon@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_301/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/home/ramelon/.local/bin:/home/ramelon/bin

脚本实现：

1、在**/home/ramelon目录下创建bin**目录。

[ramelon@hadoop102 ~]$ mkdir bin

2、在bin目录下创建xsync文件。

[ramelon@hadoop102 bin]$ vim xsync

3、在xsync文件中输入脚本。（一定要在输入模式中粘贴）

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

4、给xsync文件加入可执行权限

[ramelon@hadoop102 bin]$ chmod +x xsync

5、测试脚本

[ramelon@hadoop102 bin]$ xsync /home/ramelon/bin

6、分发环境变量**(如果用了sudo，则一定要用绝对路径)**

[ramelon@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

7、source刷新一下文件

[ramelon@hadoop103 bin]$ source /etc/profile
[ramelon@hadoop104 opt]$ source /etc/profile

7、单点启动

需要到每个服务器上去启动服务

8、配置ssh无密登录

1、进入**.ssh**目录下

[ramelon@hadoop102 ~]$ cd .ssh/

2、生成公钥和私钥，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。

[ramelon@hadoop102 .ssh]$ ssh-keygen -t rsa

3、将公钥拷贝到要免密登录的目标机器上

[ramelon@hadoop102 .ssh]$ ssh-copy-id hadoop102
[ramelon@hadoop102 .ssh]$ ssh-copy-id hadoop103
[ramelon@hadoop102 .ssh]$ ssh-copy-id hadoop104

此外，注意：
还需要在hadoop103上采用ramelon账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop104上采用ramelon账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

在这里插入图片描述

9、群起并测试集群

1）集群部署规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

注意：

NameNode和SecondaryNameNode不要安装在同一台服务器。
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

2）配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

系统默认配置文件

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件
- core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

3）配置集群

注意配置文件在 $HADOOP_HOME/etc/hadoop目录下

核心配置文件 core-site.xml

[ramelon@hadoop102 hadoop]$ vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为ramelon -->
    <!-- 不配置HDFS网页无法删除-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>ramelon</value>
    </property>
</configuration>

HDFS配置文件 hdfs-site.xml

[ramelon@hadoop102 hadoop]$ vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

YARN配置文件 yarn-site.xml

[ramelon@hadoop102 hadoop]$ vim yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

MapReduce配置文件 mapred-site.xml

[ramelon@hadoop102 hadoop]$ vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4）在集群上分发配置好的Hadoop配置文件

[ramelon@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去hadoop103和hadoop104上查看文件分发情况

6）群起集群

1、配置workers

[ramelon@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在文件中添加以下内容
hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

然后同步配置
[ramelon@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2、启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致

NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定

要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[ramelon@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

在这里插入图片描述

（2）启动HDFS

[ramelon@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）启动YARN 在配置了ResourceManager的节点（hadoop103）

[ramelon@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看YARN上运行的Job信息

3、集群基本测试

1、上传文件到集群

上传小文件

[ramelon@hadoop102 ~]$ hadoop fs -mkdir /input
[ramelon@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

上传大文件

[ramelon@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u301-linux-x64.tar.gz  /

2、上传文件后查看文件存放在什么位置

查看HDFS文件存储路径

[ramelon@hadoop102 hadoop-3.1.3]$ cd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1760951179-192.168.112.102-1632129617528/current/finalized/subdir0/subdir0/

查看HDFS在磁盘存储文件内容

[ramelon@hadoop102 subdir0]$ cat blk_1073741825
ss ss
cls cls
banzhang
bobo
yangge

3、拼接

[ramelon@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[ramelon@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[ramelon@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

注意存储的时候是一块128MB，jdk 的大小超过了128MB，所以分成了2块存储，所以上面解压完就是一个完整的jdk。

4、下载

[ramelon@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

5、执行wordcount程序

[ramelon@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

注意，执行完可以在/output目录下面查看结果

http://hadoop102:9870

7）配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1、配置mapred-site.xml

[ramelon@hadoop102 hadoop]$ vim mapred-site.xml
在文件中加入以下内容
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2、分发配置

[ramelon@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3、在hadoop102启动历史服务器

[ramelon@hadoop102 hadoop]$ mapred --daemon start historyserver

4、查看历史服务器是否启动

[ramelon@hadoop102 hadoop]$ jps

在这里插入图片描述

5、查看JobHistory

http://hadoop102:19888/jobhistory

8）配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

1、配置yarn-site.xml

[ramelon@hadoop102 hadoop]$ vim yarn-site.xml
在文件中增加
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2、分发配置

[ramelon@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3、关闭NodeManager 、ResourceManager和HistoryServer

[ramelon@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[ramelon@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

5、启动NodeManager 、ResourceManage、和HistoryServer

[ramelon@hadoop103 ~]$ start-yarn.sh
[ramelon@hadoop102 ~]$ mapred --daemon start historyserver

6、删除HDFS上已经存在的输出文件

[ramelon@hadoop102 ~]$ hadoop fs -rm -r /output
执行下面的wordcount程序
[ramelon@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7、查看日志

在这里插入图片描述

9）集群启动/停止方式总结

1、各个模块分开启动/停止（配置ssh是前提）常用 [/opt/module/hadoop-3.1.3/sbin]

（1）整体启动/停止HDFS

[ramelon@hadoop102 sbin]$ start-dfs.sh/stop-dfs.sh
[ramelon@hadoop102 sbin]$ stop-dfs.sh

（2）整体启动/停止YARN

[ramelon@hadoop102 sbin]$ start-yarn.sh
[ramelon@hadoop102 sbin]$ stop-yarn.sh

2、各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

[ramelon@hadoop102 sbin]$ hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

[ramelon@hadoop102 sbin]$ yarn --daemon start/stop resourcemanager/nodemanager

10）编写Hadoop集群常用脚本

一台服务器启动关闭所有服务器

1、Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）文件名：myhadoop.sh

[ramelon@hadoop102 ~]$ cd /home/ramelon/bin
[ramelon@hadoop102 bin]$ vim myhadoop.sh

输入以下脚本内容

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

2、加执行权限

[ramelon@hadoop102 bin]$ chmod +x myhadoop.sh

查看三台服务器Java进程脚本：jpsall

1、新建脚本jpsall

[ramelon@hadoop102 ~]$ cd /home/atguigu/bin
[ramelon@hadoop102 bin]$ vim jpsall

输入一下脚本内容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

2、添加可执行权限

[ramelon@hadoop102 bin]$ chmod +x jpsall

3、分发脚本，保证自定义脚本在三台机器上都可以使用

[ramelon@hadoop102 ~]$ xsync /home/atguigu/bin/

在这里插入图片描述

11）集群时间同步

两个面试题

一、常用端口号

hadoop3.x
- HDFS NameNode 内部通常端口：8020/9000/9820
- HDFS NameNode 对用户的查询端口：9870
- Yarn查看任务运行情况的：8088
- 历史服务器：19888
hadoop2.x
- HDFS NameNode 内部通常端口：8020/9000
- HDFS NameNode 对用户的查询端口：50070
- Yarn查看任务运行情况的：8088
- 历史服务器：19888

二、常用的配置文件

2、加执行权限

[ramelon@hadoop102 bin]$ chmod +x myhadoop.sh

查看三台服务器Java进程脚本：jpsall

1、新建脚本jpsall

[ramelon@hadoop102 ~]$ cd /home/atguigu/bin
[ramelon@hadoop102 bin]$ vim jpsall

输入一下脚本内容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

2、添加可执行权限

[ramelon@hadoop102 bin]$ chmod +x jpsall

3、分发脚本，保证自定义脚本在三台机器上都可以使用

[ramelon@hadoop102 ~]$ xsync /home/atguigu/bin/

[外链图片转存中…(img-EzoRpnLy-1632208997148)]

11）集群时间同步

两个面试题

一、常用端口号

hadoop3.x
- HDFS NameNode 内部通常端口：8020/9000/9820
- HDFS NameNode 对用户的查询端口：9870
- Yarn查看任务运行情况的：8088
- 历史服务器：19888
hadoop2.x
- HDFS NameNode 内部通常端口：8020/9000
- HDFS NameNode 对用户的查询端口：50070
- Yarn查看任务运行情况的：8088
- 历史服务器：19888

二、常用的配置文件

3.x	core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	workwes
2.x	core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	slaves

Ramelon

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
hadoop运行模式和相关配置(主要是完全分布式hadoop集群搭建与测试)

单机模式/本地运行模式/Local (Standalone) Modedemo：1、在hadoop-3.1.3目录下创建一个wcinput文件夹。[ramelon@hadoop102 hadoop-3.1.3]$ mkdir wcinput2、在wcinput文件夹下创建一个word.txt[ramelon@hadoop102 wcinput]$ vim word.txt并输入一下内容，保存并退出。ss sscls clsbanzhangboboyangge3、回到目录/opt/
复制链接

扫一扫