hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）

已于 2023-07-23 21:25:26 修改
阅读量1.9k 收藏 18
点赞数 29
文章标签： hadoop hdfs mapreduce
于 2023-07-12 15:17:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73905064/article/details/131682397
版权

 

 3台： 

hadoop集群
名称IP
hadoop01192.168.204.130
hadoop02192.168.204.131
hadoop03192.168.204.132

目录

1：下载jdk,镜像：

2：创建文件夹

1：在/创建mwd文件夹放压缩包

2：在/usr/lib/目录下创建jvm文件放jdk

3：创建/data/hadoop目录放hadoop

3：解压安装包更改haoop名字

1：解压jdk-8u161-linux-x64.tar.gz

2：解压hadoop3.3.0

3：把/data/hadoop 下面hadoop-3.3.0重命名为app

4：配置jdk,hadoop环境

1：编辑/etc/profile文件添加

2：刷新一下用户配置

3：查看配置

5：hadoop配置

1：进入hadoop配置目录

2：配置hadoop-env.sh

3：配置core-site.xml

4：配置vim hdfs-site.xml文件

5：配置mapred-site.xml

6：配置yarn-site.xml

7：配置workers文件

6：分发目录

1：在执行scp命令之前，请确保目标目录存在或根据需要进行创建。可以使用以下命令创建目录如果有就没有必要执行

2：分发环境目录

3：分发jdk目录

4：分发hadoop目录

5：刷新一下hadoop02 hadoop03用户配置

6：查看hadoop02 hadoop03配置

7：格式化NameNode

8：启动和停止hadoop

1：全部启动和停止HDFS 和YARN

2：jps查看进程

9：通过WEB管理界面查看集群状态

10：HDFS shell 命令

1：查看

2：创建文件夹

3：上传文件到HDFS

4：查看HDFS文件内容

5：向HDFS下载文件到当前文件夹下

6：追加数据到HDFS文件中(小文件合并)

7：HDFS删除文件

11：MapReduce程序

1：评估pi的值

2：WordCoun概述

1：下载jdk,镜像：

1下载hadoop3.3.0.tar.gz

2下载jdk-8u161-linux-x64.tar.gz

jdk-8u161-linux-x64.tar.gz

2：创建文件夹

1：在/创建mwd文件夹放压缩包

mkdir /mwd

2：在/usr/lib/目录下创建jvm文件放jdk

mkdir /usr/lib/jvm

3：创建/data/hadoop目录放hadoop

mkdir -p /data/hadoop

3：解压安装包更改haoop名字

1：解压jdk-8u161-linux-x64.tar.gz

cd /mwd 
tar -zxvf jdk-8u161-linux-x64.tar.gz -C/usr/lib/jvm

2：解压hadoop3.3.0

cd /mwd
tar -zxvf hadoop-3.3.0.tar.gz -C/data/hadoop

3：把/data/hadoop 下面hadoop-3.3.0重命名为app

cd /data/hadoop/
mv /data/hadoop/hadoop-3.3.0 app

4：配置jdk,hadoop环境

1：编辑/etc/profile文件添加

vim /etc/profile

#配置java路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH 
#配置hadoop路径
export HADOOP_HOME=/data/hadoop/app 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#指定进程的用户名字
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2：刷新一下用户配置

source /etc/profile

3：查看配置

java -version
hadoop version

5：hadoop配置

1：进入hadoop配置目录

cd /data/hadoop/app/etc/hadoop/

2：配置hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161

3：配置core-site.xml

vim core-site.xml

<configuration>
  <!--设置默认使用的文件系统Hadoop支持file,HDFS,GFS,ali|Amazon云等文件系统 -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop01:8020</value>
    </property>
  <!--于指定文件读写时的缓冲区大小。缓冲区是一块内存区域，用于临时存储文件数据，以提高文件读写的性能-->
    <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
    </property>
  <!--文件系统垃圾桶保存时间-->
    <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>
     
  <!--设置Hadoop本地保存数据路径-->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoop/temp</value>
    </property>
  
  <!-- 设置HDFS web UI用户身份-->
    <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
    </property>
  
  <!--整合hive用户代理设置-->
    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
  
  <!--配置Hadoop代理用户（proxyuser）的用户组（groups）权限-->
    <property>
           <name>hadoop.proxyuser.root.groups</name>
           <value>*</value>
     </property>
</configuration>

4：配置vim hdfs-site.xml文件

vim hdfs-site.xml

<configuration>
  <!--设置SNN进程运行机器位置信息-->
    <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>hadoop02:9868</value>
    </property>
</configuration>

5：配置mapred-site.xml

vim mapred-site.xml

<configuration>
  <!--设置MR程序默认运行模式：YARN集群模式 local本地模式-->
    <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
    </property>
  <!--MR程序历史服务地址-->
     <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>hadoop01:10020</value>
     </property>
  <!--MR程序历史服务器web端地址-->
      <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>hadoop01:19888</value>
      </property>  
  <!---->
    <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
  <!---->
    <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
  <!---->
    <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

6：配置yarn-site.xml

vim yarn-site.xml

<configuration>
  <!--设置YARN集群主角色运行机器位置-->
    <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>hadoop01</value>
    </property>
  <!---->
    <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
    </property>
  <!--是否对容器实施物理内存限制-->
     <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
     </property> 
   <!--开启日志聚集-->
     <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
     </property>
    <!--设置yare历史服务器地址-->  
     <property>
            <name>yarn.log.server.url</name>  
            <value>http://hadoop01:1988/jobnistory/logs</value>
     </property>
</configuration>

7：配置workers文件

vim workers

hadoop01
hadoop02
hadoop03

6：分发目录

1：在执行scp命令之前，请确保目标目录存在或根据需要进行创建。可以使用以下命令创建目录如果有就没有必要执行

ssh root@hadoop02 "mkdir -p /data/hadoop"
ssh root@hadoop02 "mkdir -p usr/lib/jvm/jdk1.8.0_161/"
ssh root@hadoop03 "mkdir -p /data/hadoop"
ssh root@hadoop03 "mkdir -p usr/lib/jvm/jdk1.8.0_161/"

2：分发环境目录

scp -r /etc/profile root@hadoop02:/etc/profile
scp -r /etc/profile root@hadoop03:/etc/profile

3：分发jdk目录

scp -r /usr/lib/jvm/jdk1.8.0_161/ root@hadoop02:/usr/lib/jvm/
scp -r /usr/lib/jvm/jdk1.8.0_161/ root@hadoop03:/usr/lib/jvm/

4：分发hadoop目录

scp -r /data/hadoop/app/ root@hadoop02:/data/hadoop/
scp -r /data/hadoop/app/ root@hadoop03:/data/hadoop/

5：刷新一下hadoop02 hadoop03用户配置

source /etc/profile

6：查看hadoop02 hadoop03配置

java -version
hadoop version

7：格式化NameNode

规划中是hadoop01作为NameNode，在该机器下进行格式化：

hadoop namenode -format

格式化NameNode成功的控制台日志如下：

8：启动和停止hadoop

1：全部启动和停止HDFS 和YARN

start-all.sh 
stop-all.sh

2：jps查看进程

jps

[root@hadoop01 ~]# jps
4691 DataNode      #从角色  HDES
5494 NodeManager   #从角色  YNRN
7190 Jps
5294 ResourceManager
4495 NameNode      #主角色  HDFS

[root@hadoop02 ~]# jps
6275 Jps
4313 DataNode           #从角色  HDES
4476 SecondaryNameNode  # 主角色辅助角色  HDFS
4733 NodeManager        #从角色  YNRN

[root@hadoop03 ~]# jps
6266 Jps
4315 DataNode     #从角色  HDES
4668 NodeManager  #从角色  YNRN

9：通过WEB管理界面查看集群状态

访问入口如下：

  • HDFS入口：http://192.168.204.130:9870 或者 hdoop01:9870（来自于hdfs-site.xml的dfs.http.address配置项）（如果hadoop01:9870访问不了可能是没有在主机上添加IP win（在主机上可以ping hadoop01））

  • YARN入口：http://192.168.204.130:8088/cluster或者 hdoop01:8088（ResourceManager所在节点的8088端口）

10：HDFS shell 命令

1：查看

hadoop fs -ls file:///  #查看本地文件系统
hadoop fs -ls hdfs://hadoop01:50070/ #读取HDFS里面目录
hadoop fs -ls /   #读取HDFS里面目录core-site.xml配置好了
hadoop fs -ls -h /
hadoop fs -ls -R / #递归查看目录和子目录

2：创建文件夹

hadoop fs -mkdir /itcast #在hdfs更目录下创建itcast目录
hadoop fs -mkdir -p /itcast/iter  #在hdfs上递归创建目录

3：上传文件到HDFS

hadoop fs -put anaconda-ks.cfg /itcast #上传文件到HDFS下的itcast目录下

4：查看HDFS文件内容

hadoop fs -cat /1.txt

5：向HDFS下载文件到当前文件夹下

hadoop fs -get anaconda-ks.cfg ./

6：追加数据到HDFS文件中(小文件合并)

hadoop fs -appendToFile 2.txt 3.txt /1.txt

7：HDFS删除文件

hdfs dfs -rm <文件路径>
hdfs dfs -rm -r <文件夹路径>

11：MapReduce程序

示例程序路径

cd /data/hadoop/app/share/hadoop/mapreduce/

示例程序

hadoop-mapreduce-examples-3.3.0.jar

MapReduce程序提交命令

hadoop jar hadoop-mapreduce-examples-3.3.0.jar..

1：评估pi的值

 

cd /data/hadoop/app/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 100 200

2：WordCoun概述

上传1.txt文件(里面是一些单词)到HDFS

1.txt

 hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /outp

 

 

万物具理
关注
  • 29
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop分布式物理机集群搭建（hdfs和yarn）版本：hadoop-3.3.0
数智技术
01-22 710
Hadoop物理机集群搭建（hdfs和yarn）版本：hadoop-3.3.0 准备工作： 1.需要先安装jdk8 2.六台机器ssh相互信任 3.关闭防火墙或者六台机器ip都加到白名单 服务器配置（6台）： 168.61.1.11（用作NameNode和ResourceManager） 168.61.1.12、168.61.1.13、168.61.1.14、168.61.1.15、168.61.1.16（用作DataNode和NodeManager） 新的改变 我们对Markdown编辑器进行了一些功能拓
大数据学习笔记：Hadoop3.3.0完全分布式集群安装
weixin_43824601的博客
02-01 760
Hadoop3.3.0完全分布式安装前言Linux的相关配置1、设置ip地址2、关闭防火墙3、设置ip映射4、设置免密登录安装jdk1、下载安装包2、解压安装hadoop1、下载安装包2、解压3、修改配置文件 （在Master上操作）3.1、修改core-site.xml文件3.2、修改hdfs-site.xml文件3.3、mapred-site.xml3.4、yanr-site.xml3.5、hadoop-env.sh3.6、mapred-env.sh3.7、workers4、将Master的文件分发修改
Hadoop3.3.0安装（HDFS+MapReduce+HBase安装及操作、CentOS8版本）
gezq0714的博客
05-16 2616
虚拟机安装 步骤一：创建虚拟机 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pwhdWKiX-1618662543294)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20210320090517877.png)] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zHUUdvEO-1618662543296)(C:\Users\Administ
2024年最新Hadoop3的安装_安装hadoop3，2024最新百度、头条等公司大数据开发面试题目
2401_84586779的博客
05-14 430
历史服务器web端地址设置YARN集群主角色运行机器位置node1是否将对容器实施物理内存限制false是否将对容器实施虚拟内存限制。false开启日志聚集true设置yarn历史服务器地址保存的时间7天604800vi workersnode1node2node3PWDscp−rhadoop−3.3.0rootnode3PWD。
hadoop-3.3.0 集群搭建
小柒心得
07-07 417
hadoop集群搭建
Hadoop ----HDFS MapReduce
qq_59472803的博客
11-20 1523
HDFS NameNode 负责管理DataNode 保存所有的元数据(目录的位置结构 存储的磁盘位置) 是HDFS的核心 是单点故障 一旦出现问题 整个HDFS不在对外提供服务· edits 操作日志文件 fsimage元数据文件 SecondaryNameNode 获取NameNode的数据延后将新的NameNode数据进行合并 然后再次写入NameNode中 DataNode 负责数据的存储 数据是按块存储的 hadoop 2.XXX以后 128M DataNode定时（心跳机制） 将.
02Hadoop3分布式文件系统HDFS-01HDFS Shell文件操作
寅月十八的博客
10-25 1627
文章目录一、实验目的二、实验内容三、实验原理四、实验环境五、实验步骤5.1 启动服务HDFS服务5.2 查看hdfs shell帮助命令5.3 使用shell命令创建和查看目录5.4 使用shell命令上传文件和文件夹5.5 使用shell命令下载文件和文件夹5.6 使用shell命令重命名文件和文件夹5.7 使用shell命令移动文件和文件夹5.8 使用shell命令删除文件和文件夹 一、实验目的 熟练掌握HDFS Shell的常用操作命令 二、实验内容 1、查看hdfs shell帮助命令 2、使
hadoop3.3.0集群搭建（详细教程）
Andy86666的博客
03-12 6877
hadoop3.3.0 集群搭建详细教程
Hadoop3.3.0集群安装
学无止境，永不停歇
08-04 7382
Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop集群9.通过网页访问hdfs集群的状态10.通过网页访问YARN集群的状态寄语 环境：JDK1.8 Centos 7.8 Hadoop 3.3.0 1.集群规划 在VMWare中构建3台运行Centos的机器作为服务器，一共3个node，一个node为namenode（master主机） ，另外两个no
hadoop-3.3.0集群环境搭建
AinUser的博客
09-07 375
# 1. 配置三台机器的IP地址 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 # 2. 关闭三台机器防火墙 systemctl stop firewalld.service # 3. 修改主机名 对应IP地址，修改对应的主机名 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 执行命令 hostnamectl set-hostname master hostname.
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
5. **Hadoop软件包**：从官方网站下载Hadoop 3.3.0的源码或二进制包。 搭建步骤包括以下几个阶段： 1. **解压Hadoop**：将下载的Hadoop压缩包解压到每个虚拟机的相同目录下。 2. **配置Hadoop**：修改`etc/hadoop`...
hadoop3.3.0-winutils所有bin文件
02-27
描述中提到的"所有bin文件"是指包含在Hadoop 3.3.0-winutils压缩包中的可执行二进制文件，这些文件是Hadoop在Windows系统中运行的基础。这些bin文件通常包括： 1. `hadoop`: Hadoop命令行工具，用于执行各种Hadoop...
hadoop-3.3.0.tar.gz
08-21
Hadoop的核心由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式文件系统，它将大型数据集分割成块，并在集群中的多个节点上存储这些块，以提高容错性和性能。MapReduce则是...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。...Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Hadoop Windows系统安装包 和 winutils的文件
01-09
Hadoop主要由两个核心组件构成：Hadoop Distributed File System (HDFS)和MapReduce。HDFS是分布式文件系统，用于存储大量数据，而MapReduce则是一种编程模型，用于在大型数据集上进行并行计算。 在Windows上安装...
Hadoop NameNode 进入 Safe Mode 的问题分析与解决方案
最新发布
marsjin的专栏
07-25 754
通过以上步骤，您可以有效地解决 Hadoop NameNode 进入 Safe Mode 的问题，确保集群能够正常运行。如果问题仍然存在，建议进一步检查集群的整体健康状况，并寻求专业人员的帮助。希望本文能够帮助您快速解决问题，让您的大数据处理任务顺利进行！
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1054
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
WPF前端：一个简单的数值设置样式卡片，支持MVVM绑定
XX_YYDS的博客
07-24 508
WPF前端：数值设置卡片样式，支持MVVM绑定
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值