Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）

最新推荐文章于 2022-11-30 09:57:24 发布
最新推荐文章于 2022-11-30 09:57:24 发布
阅读量309 收藏 2
点赞数
分类专栏： Hadoop学习 文章标签： hadoop objective-c hadoop
原文链接：https://blog.csdn.net/m0_46413065/article/details/115081385
版权
本文章为转载文章，用来学习，原文链接： https://blog.csdn.net/m0_46413065/article/details/115081385
版权

Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）

系列文章传送门

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021）
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021）
Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021）
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）
Hadoop入门(六)——JDK安装（图文步骤详解2021）
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）
Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021）
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步（图文详解步骤2021）
Hadoop入门(十五)——集群常见错误及解决方案

文章目录

Hadoop 运行模式

1）Hadoop 官方网站：http://hadoop.apache.org/
在这里插入图片描述

2）Hadoop 运行模式包括： 本地模式、 伪分布式模式以及 完全分布式模式。
在这里插入图片描述

  • 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
  • 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模
    拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
  • 完全分布式模式：多台服务器组成分布式环境。生产环境使用。
    在这里插入图片描述

本地运行模式 （官方 WordCount案例 ）

1 ） 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[leokadia@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2 ） 在 wcinput 文件下创建一个 word.txt 文件

[leokadia@hadoop102 hadoop-3.1.3]$ cd wcinput

3 ） 编辑 word.txt 文件

[leokadia@hadoop102 wcinput]$ vim word.txt
➢ 在文件中随便输入一些内容
➢ 保存退出：:wq
在这里插入图片描述

4 ） 回到 Hadoop 目录/opt/module/hadoop-3.1.3

[leokadia@hadoop102 ~]$ cd /opt/module/hadoop-3.1.3

5 ） 执行程序

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

当然，你要是不确定，不放心自己的程序中是否有hadoop-mapreduce-examples-3.1.3.jar，你可以依次进入文件夹查看，博主就做过这种事情。
在这里插入图片描述

6 ） 查看结果

[leokadia@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000
看到如下结果：

19-1	1
HFUT,	1
Hadoop	1
Leokadia	1
She	1
a	1
class	1
computer	1
experiment	1
in	1
innovation	1
is	3
learning	1
sophomore	1
whose	1

    
    

    
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

在这里插入图片描述

完全分布式 运行模式 （重点）

分析：
1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称）
2）安装 JDK
3）配置环境变量
4）安装 Hadoop
5）配置环境变量

注，以上步骤我们均在hadoop102上搞定了

6）配置集群
7）单点启动
8）配置 ssh
9）群起并测试集群

步骤1，2，3，4，5之前我们均已经在102上搞定了

虚拟机准备

详见前几篇文章

编写集群分发脚本 xsync

1 ）scp （secure copy ） 安全 拷贝

（1）scp 定义
scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法
在这里插入图片描述

（3）案例实操

前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、
/opt/software 两个目录，并且已经把这两个目录修改为 leokadia:leokadia
[leokadia@hadoop102 ~]$ sudo chown leokadia:leokadia -R /opt/module

注：前面完全按我来的这部分不需要做，之前103，104克隆的时候就存在了

（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

[leokadia@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 leokadia@hadoop103:/opt/module
在这里插入图片描述
输入yes
然后输入hadoop103的密码：
然后就开始拷贝了，经历一大串类似这样的
在这里插入图片描述
在hadoop103上即可看到jdk拷贝成功

在这里插入图片描述

刚刚我们的一通操作是将在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。简单点说就是把hadoop102上的东西强行塞给hadoop103。那能不能在hadoop103上将hadoop102的东西强行拿过来呢？下面拷贝hadoop-3.1.3的时候我们就试试这种方法。

（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。

[leokadia@hadoop103 ~]$ scp -r leokadia@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
在这里插入图片描述
可以看到拷贝成功
在这里插入图片描述

其实不仅可以把hadoop102上的东西强行塞给hadoop103
在hadoop103上将hadoop102的东西强行拿过来
还可以用在 hadoop103 上操作，将 hadoop102 的东西塞给hadoop104

（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

[leokadia@hadoop103 opt]$ scp -r leokadia@hadoop102:/opt/module/* leokadia@hadoop104:/opt/module
过程同理
在这里插入图片描述
然后他会让你输入hadoop104的密码，输入后即可拷贝成功
在这里插入图片描述
不放心的话可以在hadoop104中验证一下

在这里插入图片描述

题外话——小Tip

由于博主之前为每台运行虚拟机预留的主机RAM( R )比较大
（不要喷，博主电脑是在转计算机之前瞎买的，比较垃圾）
因此同时开启三台虚拟机的时候，他会报出这样的错误：物理内存不足，无法使用配置的设置开启虚拟机

在这里插入图片描述
博主寻找过许多解决办法，最终找到一个最方便（智障）的方法供大家参考：
点击“编辑”———“首选项”，在弹出的对话框中选择左侧的“内存”，然后在最右侧选择“允许交换大部分虚拟机内存”即可，如下图所示
在这里插入图片描述

2 ）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更
新。scp 是把所有文件都复制过去。

（1）基本语法
在这里插入图片描述

（2）案例实操

（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput

[leokadia@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/
在这里插入图片描述

（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103

希望将 hadoop102 中的hadoop-3.1.3 到 hadoop103
看是所有的内容都拷贝，还是只拷贝差异性内容

[leokadia@hadoop102 module]$ rsync -av hadoop-3.1.3/ leokadia@hadoop103:/opt/module/hadoop-3.1.3/
在这里插入图片描述
同步完成
在这里插入图片描述
在hadoop103中验证：同步成功
在这里插入图片描述

3 ）xsync 集群分发 脚本

（1）需求：循环复制文件到所有节点的相同目录下
在家目录下创建一个文件，希望写一个脚本，一执行这个命令，a.txt就可以分发到相同的路径
（2）需求分析：
（a）rsync 命令原始拷贝：
rsync -av /opt/module leokadia@hadoop103:/opt/
（b）期望脚本：
xsync 要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
[leokadia@hadoop102 ~]$ echo $PATH 查看 全局环境变量的路径

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/home/leokadia/.local/bin:/home/leokadia/bin

    
    

    
    
  • 1

在这里插入图片描述
想在/home/leokadia/bin目录下将xsync 集群分发 脚本 放入，即可在全局使用这个脚本了
（其实也可以在家目录下创建这个脚本，在把这个脚本的路径放入全局变量环境）
（3）脚本实现

（a）在/home/leokadia/bin 目录下创建 xsync 文件

[leokadia@hadoop102 opt]$ cd /home/leokadia
[leokadia@hadoop102 ~]$ mkdir bin

[leokadia@hadoop102 ~]$ cd bin
[leokadia@hadoop102 bin]$ vim xsync
在这里插入图片描述

在该文件中编写如下代码

#!/bin/bash

#1. 判断参数个数
# 判断参数是否小于1
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi

#2. 遍历集群所有机器
# 对102，103，104都进行分发
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do

    <span class="token comment">#4. 判断文件是否存在 </span>
    <span class="token keyword">if</span> <span class="token punctuation">[</span> <span class="token operator">-</span>e <span class="token variable">$file</span> <span class="token punctuation">]</span> 
        then 
            <span class="token comment">#5. 获取父目录 </span>
            pdir=$<span class="token punctuation">(</span>cd <span class="token operator">-</span>P $<span class="token punctuation">(</span>dirname <span class="token variable">$file</span><span class="token punctuation">)</span><span class="token punctuation">;</span> <span class="token function">pwd</span><span class="token punctuation">)</span> 
            
            <span class="token comment">#6. 获取当前文件的名称 </span>
            fname=$<span class="token punctuation">(</span>basename <span class="token variable">$file</span><span class="token punctuation">)</span> 
            ssh <span class="token variable">$host</span> <span class="token string">"mkdir -p <span class="token variable">$pdir</span>"</span> 
            rsync <span class="token operator">-</span>av <span class="token variable">$pdir</span><span class="token operator">/</span><span class="token variable">$fname</span> <span class="token variable">$host</span>:<span class="token variable">$pdir</span> 
        <span class="token comment"># 如果不存在</span>
        <span class="token keyword">else</span> 
            <span class="token function">echo</span> <span class="token variable">$file</span> does not exists<span class="token operator">!</span> 
    fi 
done

done

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35

在这里插入图片描述

（b）修改脚本 xsync 具有执行权限

[leokadia@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[leokadia@hadoop102 ~]$ xsync /home/leokadia/bin
在这里插入图片描述
连输几次密码
在这里插入图片描述
在hadoop103，hadoop104上验证，发现脚本传输成功
在这里插入图片描述
在这里插入图片描述

（d）将脚本复制到/bin 中，以便全局调用

[leokadia@hadoop102 bin]$ sudo cp xsync /bin/

还记得之前我们hadoop103，hadoop104都没有配置hadoop和jdk的环境变量吗？
看下hadoop104目前的环境变量里的情况
在这里插入图片描述

在这里插入图片描述
发现确实没有配置

这个脚本的用处来了！
我们用这个脚本分发环境变量

（e）同步环境变量配置（root 所有者）

我们先用这条命令试一下：
[leokadia@hadoop102 ~]$ xsync /etc/profile.d/my_env.sh
在这里插入图片描述
查看hadoop103/104中的，发现根本没有my_env.sh文件
在这里插入图片描述
那我们加sudo试一下，发现根本找不到命令
在这里插入图片描述

为啥呢？
我加了sudo相当于我是root用户，但目前我现在脚本在家目录bin目录下，root账号使用不了这个路径。
那我们就加上这个绝对路径呗！
这次一定成！

[leokadia@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。
在这里插入图片描述

在hadoop103，hadoop104下验证一下：
[leokadia@hadoop103 bin]$ sudo vim /etc/profile.d/my_env.sh
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
成功！

注意：让环境变量生效

[leokadia@hadoop103 bin]$ source /etc/profile
[leokadia@hadoop104 bin]$ source /etc/profile
在这里插入图片描述
在这里插入图片描述

</article>
芽儿好嗨哟
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群环境测试-WordCount.java-上篇
yiwaka2013的专栏
02-01 467
一. 验证hadoop的hdfs文件系统功能是否正常 安装好Hadoop后，其hdfs文件系统是空的。Hdfs实现文件的管理操作。此时，查看hdfs目录，将出现“cannot access …”错误。如下： 1.       从linux系统中将文件copy到hadoop的hdfs中。 首先，在linux系统中常见input（或file）文件夹，并在其中创建test1.txt和test
Hadoop集群_WordCount运行详解--MapReduce编程模型
02-26
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　在...
hadoop-wordcount本地模式及集群模式运行
哈哈哈哈哈哈哈
03-29 1530
前言 上一篇文章，我们利用3台云服务器搭建了一个Hadoop集群，并通过hadoop -jar命令运行了Hadoop自带的一个wordcount例子，那本片文章就通过实现一个wordcount程序，并在本地模式下运行这个程序，了解一下mapreduce编码规范，最后 再将这个jar包提交到真正的集群上运行。 Hadoop maven依赖 本想使用springboot集成的hadoop，但是发现其版...
xsync脚本+配置$PATH路径变量
最新发布
Xingqiwudexiawu的博客
11-30 738
xsync脚本+配置$PATH路径变量
xsync集群分发脚本
mischen520的博客
06-05 3480
编写xsync集群分发脚本之前先要在
xsync同步脚本的使用（自用记录）
SYBYy6的博客
03-13 1304
1、首先需要具备rsync脚本. 什么是rsync脚本和xsync脚本？ rsync本身是同步，主要对差异文件做更新。 xsync是对rsync的二次封装。借助rsync脚本实现循环复制文件到所有节点的相同目录下，省去了每次同步脚本时输入文件位置和不同目标用户的相同目录。 yum -y install rsync 2.其次编写xsync集群分发脚本 注意： 脚本最好放在全局环境变量的路径下。 #!/bin/bash if [ $# -lt 1 ] then echo Not Enough
hadoop运行模式（完全分布式）——xsync集群分发脚本
01-09
在Hadoop环境中，完全分布式运行模式是其核心的运行方式，它允许多台服务器协同工作，形成一个强大的计算集群。在这种模式下，Hadoop能够处理海量数据，提供高可用性和容错性。为了确保集群中的所有节点都能同步共享...
集群分发脚本xsync的编写与介绍
01-09
Hadoop–入门编写集群分发脚本xsync1.rcp命令2.scp命令3.rsync 远程同步工具4.xsync集群分发脚本1.创建文件2.编写代码3.修改脚本 xsync 具有执行权限4.调用脚本形式：xsync 文件名称 编写集群分发脚本xsync 在配置...
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx
05-11
在搭建Hadoop 2.5.2环境的过程中，我们需要经历几个关键步骤，包括本地模式、伪分布式集群和分布式集群的设置，以及HDFS系统的高可用性配置。首先，确保你的系统已经安装了JDK 1.8，因为Hive等组件需要1.7以上的版本...
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
【标题】: Hadoop运行模式详解：本地模式与伪分布式模式 【描述】: Hadoop作为分布式计算框架，提供了多种运行模式以适应不同的场景。本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的...
创建xsync进行hadoop快速分发差异文件
weixin_47260194的博客
03-03 692
hadoop的xsync分发
大数据软件安装配置教程[Linux, JDK, MySQL, Hadoop, ZooKeeper, Hive, Flume, Kafka, HBase-Phoenix, Scala, Spark等等]
hellosrc的博客
03-09 3131
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
【大数据技术】Hadoop集群分发脚本，还是比较巧妙，可以配置环境变量PATH，让其在任意路径都可执行
u011762522的博客
08-03 335
【大数据技术】Hadoop集群分发脚本，还是比较巧妙，可以配置环境变量PATH，让其在任意路径都可执行 将以上内容保存成xrync.sh，就可以实现集群内一台改动，所有机器全部更新！3、配置脚本所在路径到环境变量PATH后,可在任意路径执行，会更加方便。2、赋予权限chmod777xrync.sh。Note1、记得保存成Unix格式，否则执行出错。...
hadoop学习 5 HDFS 完全分布式 执行MapReduce的wordcount案例
Cupcake_JackY的博客
06-15 1347
在HDFS的完全分布式模式部署完毕后，现在开始执行MapReduce的一个jar包来测试集群是否工作正常： 大致流程： 1） 启动集群 2） 在本地创建输入文件 3） 进入hdfs，在hdfs中创建输入文件夹，并把本地的输入文件上传进去 4） 执行MapReduce程序 5） 进入hdfs，查看程序执行结果（输出文件） 具体操作（不做特别说明，每一步操作都在master上进行）： 新建/root/hadoop/data/目录，作为测试文件存放的目录： 在这个目录下新建2个txt文件，里面随便编辑一些内容，
【Hadoop】16-本地运行测试数据
通往神秘的道路的专栏
05-13 983
现在mapper和reducer已经能够在受控的输人上进行工作了，下一步是写一个作业驱动程序(job driver)，然后在开发机器上使用测试数据运行它。1在本地作业运行器上运行作业通过使用前面介绍的Tool接口，可以轻松写一个MapReducer作业的驱动程序，用它来计算按照年度查找最高气温，参见范例的MaxTemperatureDriver。范例，查找最高气温public class MaxT...
hadoop搭建【物理实验室环境搭建hadoop集群】
weixin_43923463的博客
11-05 650
环境准备：centos7.5，hadoop 3.1.3，jdk 1.8.0_161 前言：经过半个月的时间，请教了往届的师兄师姐、身边的朋友、公司里面的维修人员、在网上找到的自学运维和阿里P7的两位老大哥，终于把平台在实验室环境下搭建成功。总结下来，实验室的环境不像自己在虚拟机中随意更改，所以这半个月都在修改环境，搭建集群只用不到一个小时的时间。从最初出现问题不知道是什么原因，到后来知道原因着手去修改，过程实在是很痛苦。再次感谢在搭建平台过程中给与我帮助的大哥大姐们，现在将搭建平台的步骤列举如下： 1、
Flink高手之路：Flink的环境搭建
weixin_46490924的博客
04-30 8612
Flink高手之路：Flink的环境搭建
Hadoop本地运行
June7_的博客
06-03 580
众所周知，Hadoop有三种运行模式：本地模式，伪分布模式，完全分布模式。挺多教程一上来就给伪分布模式的搭建过程，配置了许多 xml 配置文件，然后自己开始做实验的时候发现各种 FileNotE
Hadoop平台安装配置详解：从环境准备到运行模式
- Hadoop安装：下载Hadoop 2.7.2版本，解压后配置环境变量，确保Hadoop能在系统中正确识别和运行。 3. **虚拟机管理**： - 机器克隆：可以使用虚拟机进行Hadoop集群的搭建，需要对克隆的虚拟机进行静态IP、主机名...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值