hadoop运行模式

最新推荐文章于 2024-03-18 16:53:45 发布
最新推荐文章于 2024-03-18 16:53:45 发布
阅读量229 收藏
点赞数
文章标签： hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48465928/article/details/118682340
版权

hadoop运行模式

grep案例
  • 1.在hadoop-3.1.3下创建一个input文件夹
[dev1@hadoop101 hadoop-3.1.3]$ mkdir input
  • 2.在input文件夹下编辑一个word.txt文件
[dev1@hadoop101 hadoop-3.1.3]$ vim ./input/word.txt

内容如下

dev1
root
hadoop
spark
  • 查找运行所需要的jar包
[dev1@hadoop101 hadoop-3.1.3]$ find ./ -name *examples-3.1.3.jar
./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
  • 执行share目录下的MapReduce程序

hadoop jar xxxxx.jar 程序名 参数1（目录） 参数2（目录）

[dev1@hadoop101 hadoop-3.1.3]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input/word.txt ./output 'd[a-z.]+'
  • 查看运行结果是否成功
[dev1@hadoop101 hadoop-3.1.3]$ cat ./output/*
1       doop
1       dev
统计-wordcount
  • 创建input文件夹，在文件夹中创建words.txt
[dev1@hadoop101 hadoop-3.1.3]$ mkdir wcinput
[dev1@hadoop101 hadoop-3.1.3]$ vim ./wcinput/words.txt

内容如下：

hadoop java
hadoop c
dev1 root
  • 查询所需要的jar包
[dev1@hadoop101 hadoop-3.1.3]$ find ./ -name *examples-3.1.3.jar
./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
  • 执行MapReduce程序

hadoop jar xxxxx.jar 程序名 参数1（目录） 参数2（目录）

[dev1@hadoop101 hadoop-3.1.3]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount ./wcinput/ ./wcoutput
  • 查看运行的结果
[dev1@hadoop101 hadoop-3.1.3]$ cat ./wcoutput/*
c       1
dev1    1
hadoop  2
java    1
root    1
伪分布式配置
  • 集群配置
1. 配置hadoop-env.sh
[dev1@hadoop101 hadoop-3.1.3]$ vim ./etc/hadoop/hadoop-env.sh

#配置jdk的环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_2123
2. 配置core-site.xml

配置主节点和主节点的存储目录，目录在namenode格式化时会自动进行创建

[dev1@hadoop101 hadoop-3.1.3]$ vim ./etc/hadoop/core-site.xml

<configuration>

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9820</value>
 </property>

 <!-- 指定Hadoop运行时产生文件的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data/tmp</value>
 </property>

</configuration>
3. 配置hdfs-site.xml

配置副本数量

[dev1@hadoop101 hadoop-3.1.3]$ vim ./etc/hadoop/hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

</configuration>
4.启动集群
  • 格式化namenode（第二次格式化时先删除data目录）
[dev1@hadoop101 hadoop-3.1.3]$ hdfs namenode -format
  • 启动namenode
[dev1@hadoop101 hadoop-3.1.3]$ hdfs --daemon start namenode
  • 启动datanode
[dev1@hadoop101 hadoop-3.1.3]$ hdfs --daemon start datanode
  • 测试是否启动成功
[dev1@hadoop101 hadoop-3.1.3]$ jps
127411 Jps
107031 NameNode
109788 DataNode
  • 本地访问

http://hadoop101:9870/

在这里插入图片描述

5.操作集群
  • 在集群中创建一个input文件夹
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -mkdir -p /user/dev1/input

在这里插入图片描述

  • 将本地的word.txt文件上传到集群中
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -put ./input/word.txt /user/dev1/input
  • 在集群查看文件
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -cat /user/dev1/input/word.txt
2021-07-12 10:24:22,460 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
dev1
root
hadoop
spark
  • 在集群中进行wordcount
[dev1@hadoop101 hadoop-3.1.3]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/dev1/input/word.txt /user/dev1/output
  • 查看输出
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -cat /user/dev1/output/*
2021-07-12 10:14:06,312 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
dev1    1
hadoop  1
root    1
spark   1
  • 从集群中下载文件
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -get /user/dev1/output/part-r-000000 ./
  • 删除集群文件
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -rm -r /user/dev1/output
Deleted /user/dev1/output
6.安装yarn
修改配置文件
  • 修改yarn-site.xml
[dev1@hadoop101 hadoop-3.1.3]$ vim ./etc/hadoop/yarn-site.xml

内容如下：

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop101</value>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop101</value>
 </property>
 <property>
 <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLA
SSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>


</configuration>
~
  • 修改mapred-site.xml
[dev1@hadoop101 hadoop-3.1.3]$ vim ./etc/hadoop/mapred-site.xml

内容如下

<configuration>

 <!-- 指定MR运行在YARN上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

</configuration>
启动yarn
  • 启动resourcemanager
[dev1@hadoop101 hadoop-3.1.3]$ yarn --daemon start resourcemanager
  • 启动nodemanager
[dev1@hadoop101 hadoop-3.1.3]$ yarn --daemon start nodemanager
  • 查看resourcemanager和nodemanager是否启动
[dev1@hadoop101 hadoop-3.1.3]$ jps
69717 Jps
107031 NameNode
68874 NodeManager
109788 DataNode
68191 ResourceManager
  • 查看yarn的客户端

http://hadoop101:8088/

在这里插入图片描述

执行MapReduce程序
[dev1@hadoop101 hadoop-3.1.3]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/dev1/input/word.txt /user/dev1/output
  • 运行结果
[dev1@hadoop101 hadoop-3.1.3]$ hdfs dfs -cat /user/dev1/output/*
2021-07-12 11:25:26,207 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
dev1    1
hadoop  1
root    1
spark   1
分布式
SSH无密登录配置
1.生成密钥
[dev1@hadoop102 ~]$ ssh-keygen -t rsa
[dev1@hadoop103 ~]$ ssh-keygen -t rsa
[dev1@hadoop104 ~]$ ssh-keygen -t rsa
2.每台主机互相拷贝密钥
 ==================== hadoop102  ====================
[dev1@hadoop102 ~]$ ssh-copy-id hadoop102
[dev1@hadoop102 ~]$ ssh-copy-id hadoop103
[dev1@hadoop102 ~]$ ssh-copy-id hadoop104
 ==================== hadoop103  ====================
[dev1@hadoop103 ~]$ ssh-copy-id hadoop102
[dev1@hadoop103 ~]$ ssh-copy-id hadoop103
[dev1@hadoop103 ~]$ ssh-copy-id hadoop104
 ==================== hadoop104  ====================
[dev1@hadoop104 ~]$ ssh-copy-id hadoop102
[dev1@hadoop104 ~]$ ssh-copy-id hadoop103
[dev1@hadoop104 ~]$ ssh-copy-id hadoop104
3.scp群发

将所有文件进行群发，速度可能较慢

主要用法（完成主机名和ip映射后可以用主机名，若没有则用ip）

scp -r 文件路径名 用户@主机名 存放路径

[dev1@hadoop102 ~]$ scp -r /opt/module/hadoop-3.1.3/  dev1@hadoop103:/opt/module/
4.rsync群发

与scp不同，只对差异文件进行更新，且文件目录必须先建好

主要用法

-a 归档拷贝

-v 显示拷贝过程

rsync -av 文件路径 主机名:目标路径

[dev1@hadoop102 bin]$ rsync -av /opt/module/ hadoop103:/opt/module/
5.xsync集群分发脚本

循环复制文件到所有节点的相同目录下

现在/home/dev1文件夹下创建bin目录，在编辑xsync脚本

[dev1@hadoop102 ~]$   mkdir /home/dev1/bin
[dev1@hadoop102 ~]$   vim ./bin/xsync.sh

内容如下

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
6.执行脚本

将脚本文件群发

[dev1@hadoop102 bin]$ sh xsync.sh xsync.sh
分布式部署
一、编辑配置文件

编辑core-site.xml文件

[dev1@hadoop102 hadoop-3.1.3]$ vim ./etc/hadoop/core-site.xml

内容如下：

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <property>
 <name>hadoop.data.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <property>
 <name>hadoop.proxyuser.dev1.hosts</name>
 <value>*</value>
 </property>
 <property>
 <name>hadoop.proxyuser.dev1.groups</name>
 <value>*</value>
 </property>

编辑hdfs-site.xml文件

[dev1@hadoop102 hadoop-3.1.3]$ vim ./etc/hadoop/hdfs-site.xml

内容如下

<property>
 <name>dfs.namenode.name.dir</name>
 <value>file://${hadoop.data.dir}/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file://${hadoop.data.dir}/data</value>
 </property>
 <property>
 <name>dfs.namenode.checkpoint.dir</name>
 <value>file://${hadoop.data.dir}/namesecondary</value>
 </property>
 <property>
 <name>dfs.client.datanode-restart.timeout</name>
 <value>30</value>
 </property>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>

编辑yarn-site.xml文件

[dev1@hadoop102 hadoop-3.1.3]$ vim ./etc/hadoop/yarn-site.xml

内容如下


<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,
 </property>

编辑mapred-site.xml文件

[dev1@hadoop102 hadoop-3.1.3]$ vim ./etc/hadoop/mapred-site.xml

 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

执行群发指令，将文件同步到各个节点

[dev1@hadoop102 hadoop-3.1.3]$ sh /home/dev1/bin/xsync.sh /opt/module/hadoop-3.1.3/
二、单点启动集群

在主节点（hadoop102）启动namenode

[dev1@hadoop102 ~]$ hdfs --daemon start namenode
[dev1@hadoop102 ~]$ jps
22569 NameNode
22729 Jps

在所有节点启动datanode

[dev1@hadoop102 ~]$ hdfs --daemon start datanode
[dev1@hadoop103 ~]$ hdfs --daemon start datanode
[dev1@hadoop104 ~]$ hdfs --daemon start datanode

客户端查看状态

在这里插入图片描述

三、群起集群
1.编辑workers文件
[dev1@hadoop102 hadoop-3.1.3]$ vim ./etc/hadoop/workers
2.群发workers文件到节点
[dev1@hadoop102 hadoop-3.1.3]$ sh /home/dev1/bin/xsync.sh /opt/module/hadoop-3.1.3/etc/hadoop/workers
3.由于是第二次格式化，因此在格式化namenode前删除data文件夹
[dev1@hadoop102 hadoop-3.1.3]$ rm -rf data/
[dev1@hadoop103 hadoop-3.1.3]$ rm -rf data/
[dev1@hadoop104 hadoop-3.1.3]$ rm -rf data/
4.格式化
[dev1@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
5.启动集群
[dev1@hadoop102 hadoop-3.1.3]$ start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
Starting secondary namenodes [hadoop104]
6.使用jps查看进程
 ====================  hadoop102  ====================
[dev1@hadoop102 hadoop-3.1.3]$ jps
42577 Jps
41829 NameNode
42007 DataNode
 ====================  hadoop103  ====================
[dev1@hadoop103 hadoop-3.1.3]$ jps
40867 DataNode
41301 Jps
 ==================== hadoop104  ====================
[dev1@hadoop104 ~]$ jps
42439 DataNode
42622 Jps
码上道
关注
Linux企业运维篇——Hadoop的三种运行模式（单机模式，伪分布式模式，全分布式集群模式）
weixin_44321116的博客
05-22 1026
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解决方案，是...
Hadoop运行模式&完全分布式运行模式
weixin_42042774的博客
03-30 3663
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站：http://hadoop.apache.org/ 本地运行模式（官方wordcount） 1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹 [atguigu@hadoop102 hadoop-3.1.3]$mkdir wcinput 2）在wcinput文件下创建一个word.txt文件 [atguigu@hadoop102 hadoop-3.1.3]$cd wcinput 3）
Hadoop运行模式
雾幻的博客
03-27 822
单机模式（standalone） 在单机模式（standalone）适用于学习与测试环境，在单机模式中不会存在守护进程，所有东西都运行在一个 JVM 上，Hadoop会完全运行在本地。 伪分布模式（Pseudo-Distributed Mode） 伪分布式（Pseudo）适用于学习与测试环境，在这个模式中，所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。 完全分布式模式 ...
Hadoop (四) --------- Hadoop 运行模式
在森林里麋了鹿
07-13 2638
Hadoop 运行模式
Hadoop的三种运行模式（启动模式）
qq_41359254的博客
05-05 4476
1单机模式（独立模式） -默认情况下Hadoop即为该模式，用于开发和调试 -不对配置文件进行修改 -使用本地的文件系统，而不是分布式的文件系统。 -Hadoop不会启动NameNode(名称节点)、DataNode（用于存储数据）JobTracker、TaskTracker等守护进程、Map和Redu()任务作为同一个进程的不同部分来执行的。 -用于对Map程序的逻辑进行调试，确保程序的正确。 2.伪分布式模式（Pseudo-Distrubuted Mode） -Hadoop的守护进程运行在本机机器上，模
Hadoop（二）Hadoop运行模式
ks_1998的博客
03-03 2019
Hadoop（二）Hadoop运行模式
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
【标题】: Hadoop运行模式详解：本地模式与伪分布式模式 【描述】: Hadoop作为分布式计算框架，提供了多种运行模式以适应不同的场景。本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的...
4_尚硅谷大数据之Hadoop运行模式1
08-03
【Hadoop运行模式详解】 Hadoop作为开源的大数据处理框架，提供了三种主要的运行模式：本地模式、伪分布式模式和完全分布式模式。这些模式分别适用于不同的应用场景和开发测试需求。 **1. 本地运行模式** 本地...
大数据技术之-03-Hadoop学习-Hadoop运行模式及常见错误及解决方案.docx
10-26
在本文中，我们将详细介绍 Hadoop 的三种运行模式：本地运行模式、伪分布式运行模式和完全分布式运行模式，并提供了相应的案例和解决方案。 1. 本地运行模式 本地运行模式是 Hadoop 的默认运行模式，在该模式下，...
hadoop的运行模式
趣学程序
05-20 850
概述 1）资料查询（官方网址） （1）官方网站： http://hadoop.apache.org/ （2）各个版本归档库地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/ （3）hadoop2.7.6版本详情介绍 https://hadoop.apache.org/docs/r2...
HADOOP的运行模式
Health's Box
08-03 574
Hadoop的运行，分三种模式：单机模式，伪分布模式，完全分布模式。   单机模式： 单机模式是hadoop默认的模式； 主要用于开发调试MapReduce程序的应用逻辑； 不会和守护进程交互； 程序在一个jvm虚拟机上运行。   伪分布模式： 在“单节点集群”上运行Hadoop； 所有的守护进程都运行在同一台机器上； 该模式在单机
【Hadoop】Hadoop的运行模式
最新发布
低调做人，低调编码，神码都是浮云
03-18 1491
Hadoop的运行模式解析与案例
大数据开发之Hadoop学习3--Hadoop运行模式
LCreator的博客
03-01 1135
Hadoop运行模式 目录 Hadoop运行模式 4.1 本地运行模式（官方wordcount） 4.2 完全分布式运行模式 4.2.1 虚拟机准备 4.2.2 编写集群分发脚本xsync 4.2.3 SSH无密登录配置 4.2.4 集群配置 4.2.5 群起集群 4.2.6 集群启动/停止方式总结 4.2.7 配置历史服务器 4.2.8 配置日志的聚集 4.2.9 集群时间同步 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站：.
Hadoop运行模式介绍
代妈炼金术师
01-04 630
在搭建不同模式的Hadoop环境时，需要对相关配置文件如。等进行相应的修改以适应不同的运行模式需求。
hadoop：hadoop集群有哪3种模式可以运行？
m0_67392811的博客
04-03 3663
单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 伪分布式模式：也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，
Hadoop基础之《（7）—Hadoop三种运行模式》
csj50的专栏
01-30 4090
在wcinput下建立一个word.txt，输入一些单词。数据存储在HDFS，同时多台服务器工作。单机运行就是直接执行hadoop命令。一、hadoop有三种运行模式。数据存储在linux本地，不用。数据存储在HDFS，测试用。1、例子-统计单词数量。
【大数据】hadoop的运行模式（root用户下、尚硅谷Hadoop入门)
YG15165的博客
07-15 2690
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式了解更多详情👉hadoop官方网站过知识点时只有多敲多练测试案例才能找到学习过程中的bug，yarn相关操作要在hadoop103上进行…完全分布模式的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。在所有的主机上安装JDK和Hadoop，组成相互连通的网络。hadoop运行在多台机器上面，称之为hadoop集群。✍下一任务：HDFS。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值