Hadoop运行模式

已于 2022-11-29 22:36:27 修改
阅读量1.6k 收藏
点赞数 1
分类专栏： hadoop 文章标签： hadoop mapreduce hdfs
于 2022-11-20 21:33:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ONLYYD/article/details/127949713
版权

目录

 一、本地运行模式

 二、完全分布式运行模式

1、编写集群分发脚本xsync

2、SSH无密登录配置

输入ssh hadoop102实现无密码直接进入

3、集群配置

4、群起集群并测试

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站：Apache Hadoop

 一、本地运行模式

 官方Grep案例

1. 创建在hadoop-2.7.2文件下面创建一个input文件夹

 mkdir input

2. 将Hadoop的xml配置文件复制到input

 cp etc/hadoop/*.xml input

3. 执行share目录下的MapReduce程序

 bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

4. 查看输出结果

cat output/*

 二、完全分布式运行模式

1、编写集群分发脚本xsync

将三台服务器都放入hadoop和jdk

hadoop103删除文件 hadoop102通过rsync同步数据

（第一次拷贝推荐用scp，之后用sync）

cd /opt/module/
将本地文件推发送给局域网服务器
scp -r jdk1.8.0_212/ root@hadoop103:/opt/module/

输入yes
输入密码

拉取局域网的文件
scp -r root@hadoop102:/opt/module/hadoop-3.1.3 ./
将102服务器的工具拷贝到104
 scp -r root@hadoop102:/opt/module/* root@hadoop104:/opt/module/


rm -rf wcinput


 rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

创建脚本并执行，然后输入其他两个服务器的密码

cd /usr/local/

mkdir bin

vim xsync


#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done



xsync /usr/local/bin

配置环境变量

102服务器

xsync /etc/profile.d/my_env.sh

103服务器、104服务器都执行

source /etc/profile

2、SSH无密登录配置

 ① 进入用户目录，输入   ls -al查看隐藏目录，如果没有ssh文件 连接自己建立ssh文件

如果是root用户，输入 cd

ll -al可以看到.ssh文件

ssh localhost

②跟103和104建立连接，实现免密登录

cd .ssh/
按三下enter,建立自己的密钥
ssh-keygen -t rsa


ssh-copy-id hadoop102

ssh-copy-id hadoop103

ssh-copy-id hadoop104

输入ssh hadoop102实现无密码直接进入

进入103、104重新执行一下上述操作

3、集群配置

 vim core-site.xml


<!-- 指定HDFS中NameNode的地址 -->
 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
 </property>




vi hdfs-site.xml

<property>
      <name>dfs.namenode.http-address</name>
      <value>hadoop102:9870</value>
</property>
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:9868</value>
</property>


vim yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop103</value>
</property>

  <property>

    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>


vim mapred-site.xml


<!-- 指定MR运行在Yarn上 -->

<property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

</property>

给103、104分发文件

cd /usr/local/bin

xsync /opt/module/hadoop-3.1.3/


进入103

 cd /opt/module/hadoop-3.1.3/etc/hadoop/


vim core-site.xml

4、群起集群并测试

给102配置workers,并分发给103，104

 cd /opt/module/hadoop-3.1.3/etc/hadoop/


 vim workers 



hadoop102
hadoop103
hadoop104



 xsync workers

将102初始化,如果文件夹里有 data和logs文件夹先删掉要不然启动失败

cd /opt/module/hadoop-3.1.3/

hdfs namenode -format


cd data/dfs/name/current/

vim VERSION


namespaceID=8697062
clusterID=CID-ab379c11-26c3-4584-b0f3-5e992ecb9628
cTime=1669127949039
storageType=NAME_NODE
blockpoolID=BP-745685491-192.168.48.102-1669127949039
layoutVersion=-64

编辑启动和停止文件，防止启动集群失败,并同步服务器

vim sbin/start-dfs.sh 
 vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

 vim sbin/start-yarn.sh 
 vim sbin/stop-yarn.sh 


YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


xsync start-dfs.sh
xsync stop-dfs.sh
xsync start-yarn.sh
xsync stop-yarn.sh

最后启动集群

102，启动dfs
sbin/start.dfs.sh
用jps查看结果

 输入http://hadoop102:9870/dfshealth.html#tab-overviewhttp://hadoop102:9870/dfshealth.html#tab-overview

进入103，输入    sbin/start-yarn.sh 和jps

进入 104，输入jps

输入  地址启动成功

http://http:/hadoop03:8088/clusterhttp://http:/hadoop03:8088/cluster

1、集群测试，hdfs上传文件到集群

 hadoop fs -mkdir /wcinput

 ①上传小文件到文件夹发现文件夹下多了一个文件并且可以预览

 hadoop fs -put wcinput/word.txt /wcinput

 ②上传大文件到集群

hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

 查看上传的文件位置

 cd data/dfs/data/current/BP-1360615751-192.168.48.102-1669300615773/current/finalized/subdir0/subdir0/


vim blk_1073741825

 

 

将上传的jdk还原到压缩包并解压

cat blk_1073741826 >> tmp.tar.gz

cat blk_1073741827 >> tmp.tar.gz

tar -zxvf tmp.tar.gz

 并且可以看到103，104都有此文件夹

 

执行 wordcout程序

  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput 

 

集群异常处理 

问题

将102、103、104的data删除

发现文件下载失败

 解决方案

将服务器的data和log都删掉

rm -rf data/  logs/
格式化
hdfs namenode -format
启动hdfs
sbin/start-dfs.sh

配置历史服务器

 cd /opt/module/hadoop-3.1.3/etc/hadoop/

vim mapred-site.xml 

<!-- 历史服务器端地址 -->（内部通讯端口）

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop102:10020</value>

</property>

<!-- 历史服务器web端地址 -->(访问地址)

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop102:19888</value>

</property>


xsync mapred-site.xml 

 cd /opt/module/hadoop-3.1.3/


bin/mapred --daemon start historyserver


jps

 hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

cd /opt/module/hadoop-3.1.3/etc/hadoop/

vim yarn-site.xml



<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

##102关闭HistoryManager
 mapred --daemon stop historyserver

##103关闭NodeManager
 sbin/stop-yarn.sh

##103启动NodeManager
sbin/start-yarn.sh

##102启动HistoryManager

集群启动/停止方式总结

1）各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

编写Hadoop集群常用脚本

 启动和停止所有集群脚本

 cd /usr/local/


 vim myhadoop.sh 


#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac


chmod +x myhadoop.sh


停止集群
./myhadoop.sh stop

./myhadoop.sh start

 

 查看集群脚本

vim jpsall



#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done


 chmod 777 jpsall


jpsall

ONLYYD
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
四 Hadoop运行模式之完全分布式运行模式
01-07
文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha
HADOOP的运行模式
Health's Box
08-03 544
Hadoop的运行，分三种模式：单机模式，伪分布模式，完全分布模式。   单机模式： 单机模式是hadoop默认的模式； 主要用于开发调试MapReduce程序的应用逻辑； 不会和守护进程交互； 程序在一个jvm虚拟机上运行。   伪分布模式： 在“单节点集群”上运行Hadoop； 所有的守护进程都运行在同一台机器上； 该模式在单机
Hadoop（二）Hadoop运行模式
ks_1998的博客
03-03 1897
Hadoop（二）Hadoop运行模式
hadoop的运行模式
趣学程序
05-20 823
概述 1）资料查询（官方网址） （1）官方网站： http://hadoop.apache.org/ （2）各个版本归档库地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/ （3）hadoop2.7.6版本详情介绍 https://hadoop.apache.org/docs/r2...
hadoop运行模式
weixin_48465928的博客
07-12 166
hadoop运行模式 grep案例 1.在hadoop-3.1.3下创建一个input文件夹 [dev1@hadoop101 hadoop-3.1.3]$ mkdir input 2.在input文件夹下编辑一个word.txt文件 [dev1@hadoop101 hadoop-3.1.3]$ vim ./input/word.txt 内容如下 dev1 root hadoop spark 查找运行所需要的jar包 [dev1@hadoop101 hadoop-3.1
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
Hadoop运行模式包括： (1) 本地模式(开发不会用) (2) 伪分布式模式(开发不会用) (3) 完全分布式模式(重要开发一定是用这种模式) 虽然本地模式和伪分布式模式开发不会用,但为了感受一下Hadoop的魅力,还是简单介绍一下...
hadoop运行模式（完全分布式）——xsync集群分发脚本
01-09
　rsync -rvl /opt/module root@hadoop12:/opt/ （b）期望脚本： 　xsync要同步的文件名称 （c）我们将xsync脚本创建在/home/用户/bin目录下。说明：在/home/用户/bin这个目录下存放的脚本，该用户可以在系统任何...
4_尚硅谷大数据之Hadoop运行模式1
08-03
4.1 本地运行模式 4.1.1 官方 grep 案例 4.2 伪分布式运行模式
云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式
02-23
3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目：输入两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的...
Hadoop（四）—— Hadoop运行模式
qq_44886213的博客
11-14 2559
文章目录一、前言二、完全分布式运行模式1.编写集群分发脚本xsync 一、前言 1）支持2000多个服务器结点，目前最多可支持4000~5000个结点 2）官网http://hadoop.apache.org/ 3) hadoop有三种运行模式 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用 伪分布模式：单机运行，具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式！（五颗星）：多台服务器组成分布式环境。生产环境使用。 企业中用
Hadoop (四) --------- Hadoop 运行模式
在森林里麋了鹿
07-13 2490
Hadoop 运行模式
Hadoop基础之《（7）—Hadoop三种运行模式》
csj50的专栏
01-30 3860
在wcinput下建立一个word.txt，输入一些单词。数据存储在HDFS，同时多台服务器工作。单机运行就是直接执行hadoop命令。一、hadoop有三种运行模式。数据存储在linux本地，不用。数据存储在HDFS，测试用。1、例子-统计单词数量。
【Hadoop】第三篇--Hadoop运行模式
检哥说IT的博客
06-23 1915
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Linux企业运维篇——Hadoop的三种运行模式（单机模式，伪分布式模式，全分布式集群模式）
weixin_44321116的博客
05-22 954
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解决方案，是...
Hadoop的三种运行模式（启动模式）
qq_41359254的博客
05-05 4350
1单机模式（独立模式） -默认情况下Hadoop即为该模式，用于开发和调试 -不对配置文件进行修改 -使用本地的文件系统，而不是分布式的文件系统。 -Hadoop不会启动NameNode(名称节点)、DataNode（用于存储数据）JobTracker、TaskTracker等守护进程、Map和Redu()任务作为同一个进程的不同部分来执行的。 -用于对Map程序的逻辑进行调试，确保程序的正确。 2.伪分布式模式（Pseudo-Distrubuted Mode） -Hadoop的守护进程运行在本机机器上，模
hadoop：hadoop集群有哪3种模式可以运行？
m0_67392811的博客
04-03 3601
单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 伪分布式模式：也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，
【大数据】hadoop的运行模式（root用户下、尚硅谷Hadoop入门)
最新发布
YG15165的博客
07-15 1781
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式了解更多详情👉hadoop官方网站过知识点时只有多敲多练测试案例才能找到学习过程中的bug，yarn相关操作要在hadoop103上进行…完全分布模式的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。在所有的主机上安装JDK和Hadoop，组成相互连通的网络。hadoop运行在多台机器上面，称之为hadoop集群。✍下一任务：HDFS。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ONLYYD

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值