(非常详细）大数据平台学习·环境安装配置（二）（Hadoop3.2.4版集群搭建）

已于 2022-10-22 17:21:24 修改
阅读量1.2k 收藏 7
点赞数 2
分类专栏： 大数据平台 文章标签： 大数据 hadoop linux big data hdfs
于 2022-10-22 17:15:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Spark_BITZH/article/details/127461423
版权

一.文章简介

上一篇文章我们着手搭建了大数据平台所需要的虚拟机环境，那么接下来我们来搭建hadoop环境。

文章目录

二.资源准备

Hadoop：3.2.4版本
Hadoop官方下载地址

jdk：1.8.0 linux版本
jdk1.8官方下载地址

三.Haddop下载教程

1.进入官方下载链接后，选择binary下载

在这里插入图片描述

注意：不要下载source版，source版是源码下载，用于研究源码或者maven构建编译打包的。我们现选择binary版，可以直接下载后解压配置文件使用的。

如果需要其他Hadoop版本的，进入下方的官方收录版本库里寻找自己想要的版本
Hadoop官方历史版本下载

2.下载后存放到本地中

建立一个专门用于存放Hadoop压缩包和解压后的Hadoop文件
在这里插入图片描述

3.传输到master主节点上

（1）在master主节点和其他三台机子都建立对应的目录用于存放和安装软件

在这里插入图片描述
注意一定要在home目录下的对应大数据专用用户下存放和安装

tools目录用于安装后、tools_bck用于存放压缩包等

(2) 使用xftp将Hadoop压缩包传输至master主节点的tools_bck中

在这里插入图片描述

四.jdk下载教程

1.进入官方下载连接后，选择linux版本下载

注意：官方下载需要登录oracle账户，而且部分时候容易连接失败

在这里插入图片描述

2.下载后存放到本地

在这里插入图片描述

3.传输到master主节点和其他三个从节点上

利用xftp，将jdk传输到所有机子的/home/spark/tools_bck目录
在这里插入图片描述

4.解压安装jdk

命令：tar -zxf jdk-8u351-linux-x64.tar.gz -C /home/spark/tools
在这里插入图片描述

5.配置环境

在~/.bashrc 文件末尾加上如下的三行代码：

#set java environment
export JAVA_HOME=/home/spark/tools/jdk1.8.0_351
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

然后运行source ~/.bashrc 让环境变量生效，输入java -version检测配置
在这里插入图片描述

五.Hadoop 集群的安装和环境配置要求

1.各节点分配

主机名主机IP作用
master192.168.xxx.140Namenode;SecondaryNamenode；ResourceManager;JobHistoryServer
slaver1192.168.xxx.141Datanode; NodeManger
slaver2192.168.xxx.142Datanode; NodeManger
slaver3192.168.xxx.143Datanode; NodeManger

2.在master主节点解压Hadoop安装包

命令：tar -zxf hadoop-3.2.4.tar.gz -C /home/spark/tools
在这里插入图片描述

3.配置Hadoop环境变量，方便使用Haoop命令

命令：vim ~./bashrc

在最下面新增如下：

#set Hadoop environment
export HADOOP_HOME=/home/spark/tools/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

输入source ~/.bashrc 让环境变量生效，输入hadoop version检测配置
在这里插入图片描述

注意：如果此时输入hadoop version 是报错的，可能是还没有配置jdk环境，请返回上面配置好

4.在主节点配置 hadoop-env.sh,加入JDK的位置环境变量

命令1：cd /home/spark/tools/hadoop-3.2.4/etc/hadoop
命令2：vim hadoop-env.sh

新增如下代码

export JAVA_HOME=/home/spark/tools/jdk1.8.0_351

在这里插入图片描述

5.在主节点配置 core-site.xml 文件

命令2：vim core-site.xml

新增如下：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9820</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/spark/tools/hadoop-3.2.4/tmp</value>
        </property>
</configuration>

6.在主节点配置 hdfs-site.xml 文件（注：复制因子是 3）

（1）先在/home/cspark/tools/hadoop-3.2.4/下创建目录 tmp

在这里插入图片描述

(2)配置 hdfs-site.xml 文件

命令：vim hdfs-site.xml

    <configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///home/spark/tools/hadoop-3.2.4/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///home/spark/tools/hadoop-3.2.4/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:9868</value>
        </property>
                <property>
                <name>dfs.namenode.http-address</name>
                <value>master:9870</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

7.在主节点配置 mapred-site.xml 文件

命令：vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- jobhistory properties -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

8.在主节点配置 yarn-site.xml 文件

命令：vim yarn-site.xml

<!-- Site specific YARN configuration properties -->
<configuration>         
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

9.在主节点配置 yarn-env.sh 文件

命令：vim yarn-env.sh

###
#set some java parameters
export JAVA_HOME=/home/spark/tools/jdk1.8.0_351

10.在主节点配置workers文件

命令：vim workers

删掉原有的，改为如下：
在这里插入图片描述

11.向各节点复制Hadoop

依次输入命令：
scp -r /home/spark/tools/hadoop-3.2.4 slaver1:/home/spark/tools
scp -r /home/spark/tools/hadoop-3.2.4 slaver2:/home/spark/tools
scp -r /home/spark/tools/hadoop-3.2.4 slaver3:/home/spark/tools

12.格式化namenode

需要在Hadoop 安装目录下的 bin 目录里的 hdfs 命令进行格式化
即：/home/spark/tools/hadoop-3.2.4/bin

命令：./hdfs namenode -format

六.启动Hadoop和检测

1.启动Hadoop集群

以下命令需要在/home/spark/tools/hadoop-3.2.4/sbin中进行

命令1：./start-dfs.sh（HDFS 集群）
命令2：./start-yarn.sh（Yarn 集群）
命令3：./mr-jobhistory-daemon.sh start historyserver（日志服务）

输入后利用jps对主节点和从节点检查

主节点
在这里插入图片描述

从节点
在这里插入图片描述

2.配置本地主机系统映射

在 Windows 系统中设置 IP 映射
在这里插入图片描述
对hosts新增如下

在这里插入图片描述

3.进入web界面查看监控

http://master:9870（查看 HDFS 集群监控）

http://master:8088（查看 YARN 集群监控）

七.关闭集群

同样需要在sbin目录下进行

命令1：./stop-dfs.sh（HDFS 集群）
命令2：./stop-yarn.sh（Yarn 集群）
命令3：./mr-jobhistory-daemon.sh stop historyserver（日志服务

好了，到这里我们的Hadoop集群就已经搭建好了，如果有错误的地方，欢迎各位指出哈

火花花spark
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3.2.4集群部署（centos7.9)
w975121565的博客
10-20 1239
Hadoop3.2.4集群部署（centos7.9)
hadoop3.2.4 集群环境搭建
qq_34526237的博客
04-04 966
实际运用中，hadoop的搭建一定是集群部署方式，所以这里搭建了下集群部署方式，也熟悉hadoop的集群搭建。这里我就没有新建用户来运行hadoop程序，严格来说不能直接用root运行hadoop程序，这里我就懒得弄了，就直接用root运行，用root运行方法前一篇文章有说，可以看看前面的文章。
【Hadoop】Hadoop(一)3.2.4集群搭建
JeffHan^_^的博客
04-27 557
可以看到resourcemanager的管理界面也已经启动，我这里启动了一个Flink的yarn任务，所以可以看到一个Application。在 hadoop解压目录下的 etc/hadoop下修改下面配置。在进行Hadoop集群部署之前，我们需要事先准备好以下几个条件。访问 http://192.168.37.128:9870。访问http://192.168.37.128:8088。可以看到两台dataNode节点都在线。在centos1上启动集群。
分布式安装配置Hadoop3.2.4
runepic的博客
06-02 985
本文介绍如何在Ubuntu系统中安装配置Hadoop。Hadoop是一个开源的分布式计算框架，它可以处理大规模的数据集。Hadoop的核心组件是Hadoop分布式文件系统（HDFS）和MapReduce编程模型。Hadoop还包括一些其他的子项目，如Hive，Pig，Spark等，提供了不同层次的数据处理能力。
Hadoop 3.2.4 集群搭建详细图文教程
最新发布
誓言
01-15 1876
Hadoop 集群包括两个集群：HDFS 集群、YARN 集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。逻辑上分离两个集群互相之间没有依赖、互不影响物理上在一起某些角色进程往往部署在同一台物理服务器上MapReduce 集群呢？MapReduce 是计算框架、代码层面的组件，没有集群之说。
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
01 hadoop 3.2.4集群搭建.html
07-31
hadoop 3.2.4集群搭建
大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx
08-26
一旦系统安装完毕，可以逐步搭建Hadoop环境，从独立模式开始，然后过渡到伪分布式和全分布式模式。最后，学习编写一键启动脚本来简化集群管理。 总的来说，大数据学习需要扎实的Java基础，熟练的Linux操作技能，...
Linux中安装配置hadoop集群详细步骤
09-15
【Linux中安装配置Hadoop集群详细步骤】 在Linux环境下搭建Hadoop集群是一项复杂但重要的任务，主要用于大数据处理和分析。本文将详细介绍如何在Ubuntu 14.04 64位系统上安装和配置Hadoop 2.7.1版本的集群。 一、...
初学大数据，手动搭建Hadoop集群环境完整学习文档
11-09
初学大数据，如何手动搭建一套集群是很有必要的一件事，因为使用CDH等一键搭建后，不知内部的原理，无法真正的理解其大数据集群的搭建原理，此文档刚好给大家把手动搭建集群的步骤列举出来了
hadoop-3.2.4.tar.gz
07-31
hadoop-3.2.4.tar.gz
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
hadoop集群安装指南-hadoop3.2.4版本
champion2009的专栏
09-19 1923
hadoop集群安装指南-hadoop3.2.4版本
Hadoop3 - 集群搭建
小毕超博客
10-04 1893
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
1 Hadoop 3.2.4分布式环境搭建
fmi110的博客
07-31 1952
hadoop 3.2.4分布式部署
Hadoop 介绍及集群搭建
半吊子Kyle的博客
06-09 1272
Hadoop 介绍及集群搭建第一章 Hadoop 介绍1.2 Hadoop 架构演变1.2.1 1.x版本架构模型介绍1.2.2 2.x版本的架构模型1.2.3 3.x 版本架构和模型介绍第二章 Hadoop 集群搭建2.1 环境准备2.2 Hadoop 安装包介绍2.3 集群配置规划2.4 Hadoop 配置2.4.1 修改 hadoop-env.sh2.4.2 修改 core-site.xml2.4.3 修改 hdfs-site.xml2.4.4 修改 mapred-site.xml2.4.5 修改
Hadoop 3.2.4 本机伪分布式安装
阿尼古
07-12 753
基本上操作步骤跟2.x的版本内容差异不大，我的理解除了能力强了外，就是把默认的http端口改了，有点意外，安装完成验证的时候，用50070试了半天，还以为自己安装错了呢，原来调整为了9870端口。在此不再多bb了。
hadoop集群搭建（一）（超详细）
m0_74756715的博客
09-24 401
在hadoop02和hadoop03进行检查hosts是否拷贝成功（由于作者隐私问题在这里对ip进行大码，大家做的时候要保证ip和虚拟机保持一致）在根目录opt下分别创建local和soft文件夹，local用来存放上传的压缩包，soft用来存放解压之后的文件。将文件解压到 opt下的soft(解压过程中不能做其他的事情，容易解压出错！编辑好配置文件后“Esc”退出编辑模式。双击打开安装包，进行傻瓜式安装。进入opt下的local文件夹。安装完成，点击 “关闭”按“i”进入编辑模式。
大数据学习之路：从Java到Hadoop环境搭建
通过这份文档，学习者将获得一个全面的大数据学习路径，从基础的编程语言到复杂的集群环境搭建，为深入研究大数据分析和处理打下坚实的基础。对于那些希望通过实践来深化理论知识的人来说，这份资料提供了一条清晰的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值