部署伪分布式 Hadoop集群

已于 2024-08-11 17:11:20 修改
阅读量1k 收藏 22
点赞数 27
分类专栏： # Hadoop 文章标签： 分布式 hadoop 大数据 部署伪分布式 Hadoop集群
于 2024-08-06 22:59:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slb190623/article/details/140913217
版权

部署伪分布式 Hadoop集群

一、JDK安装配置

部署伪分布式 Hadoop 集群的安装，依赖JDK

1.1 下载JDK

下载地址：https://www.oracle.com/java/technologies/downloads/#license-lightbox

根据需要进行下载，我的系统是 Centos Linux 7 ，所以就下载
在这里插入图片描述

1.2 上传解压

  1. 使用xshell等工具将java压缩包上传到 /root 根目录
  2. 使用下面命令解压java并放到 /usr/local/ 目录下面
tar -zxvf jdk-8u421-linux-x64.tar.gz -C /usr/local/

在这里插入图片描述

1.3 java环境配置

  1. 设置软连接，方便使用
ln -s jdk1.8.0_421 jdk

在这里插入图片描述

  1. 配置JDK环境变量
vim /etc/profile

添加如下内容

# 添加JAVA环境变量
JAVA_HOME=/usr/local/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH

刷新配置环境

source /etc/profile

在这里插入图片描述

二、伪分布式 Hadoop 安装配置

2.1 Hadoop 下载

下载地址：https://hadoop.apache.org/releases.html
根据需要下载自己的版本，这里我下载 2.10.2
在这里插入图片描述
在这里插入图片描述

2.2 上传解压

上传到根目录 /root
在这里插入图片描述

把文件解压到 /usr/local

tar -zxvf /usr/local/hadoop-2.10.2.tar.gz -C /usr/local/

配置软连接

ln -s /usr/local/hadoop-2.10.2/ hadoop

2.3 Hadoop 文件目录介绍

Hadoop目录介绍

在这里插入图片描述

  • bin：

    • 存放内容：Hadoop的各种可执行脚本和程序，如启动和停止Hadoop服务的脚本、Hadoop命令行工具等。
    • 功能：用于执行对Hadoop相关服务（如HDFS、YARN、MapReduce等）的操作和管理任务。

  • etc：

    • 存放内容：Hadoop的配置文件，如hadoop-env.sh（环境变量配置）、core-site.xml（核心配置）、hdfs-site.xml（HDFS配置）、yarn-site.xml（YARN配置）和mapred-site.xml（MapReduce配置）等。
    • 功能：这些文件定义了Hadoop集群的行为和设置，是Hadoop正常运行的基础。

  • include

    • 存放内容：供C/C++应用程序使用的Hadoop相关的头文件。
    • 功能：当需要编写与Hadoop交互的本地代码时，这些头文件是必要的。它们提供了与Hadoop API交互的接口和定义。

  • lib

    • 存放内容：Hadoop运行所需的本地库（.so文件，即动态链接库）。
    • 功能：这些库提供了如压缩/解压缩等底层功能支持，是Hadoop正常运行的必要条件。

  • sbin

    • 存放内容：包含超级用户（管理员）使用的脚本，主要用于系统级别的操作，如启动和停止Hadoop守护进程。
    • 功能：这些脚本通常需要更高的权限来执行，用于管理Hadoop集群的底层服务和进程。

  • share

    • 存放内容：Hadoop的共享资源，主要包括Java的jar包（二进制源码）、文档和其他资源文件。子目录如share/hadoop/common、share/hadoop/hdfs、share/hadoop/yarn和share/hadoop/mapreduce等分别对应Hadoop各个组件的库文件和文档。
    • 功能：这些资源为Hadoop的开发和部署提供了必要的支持，包括API文档、示例代码和依赖库等。

  • logs

    • 存放内容：Hadoop各个组件和服务的日志文件，通常以.log结尾。
    • 功能：这些日志文件记录了Hadoop集群的运行状态和错误信息，是问题排查和性能优化的重要依据。

2.4 Hadoop 配置

2.4.1 修改 core-site.xml 配置文件

core-site.xml 文件主要是配置 Hadoop 的共有属性，具体配置内容如下所示。

[root@hadoop1 hadoop]# vim /usr/local/hadoop/etc/hadoop/core-site.xml

在里面添加如下内容（注释记得去掉，避免引起格式错误）

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop1:9000</value>
	<!--配置 hdfs NameNode 的地址，9000是RPC通信的端口-->
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/data/tmp</value>
	<!--hadoop 的临时目录-->
</property>

在这里插入图片描述

2.4.2 修改 hdfs-site.xml 配置文件

hdfs-site.xml 文件主要配置跟 HDFS相关的属性，具体配置内容如下所示：

[root@hadoop1 hadoop]# vim hdfs-site..xml

在里 面添加如下内容（注释记得去掉，避免引起格式错误）

<property>
	<name>dfs.namenode.name.dir</name>
	<value>/root/data/dfs/name</value>
	<!--配置 namenode 节点存储 fsimage的目录位置-->
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/root/data/dfs/data</value>
	<!--配置 datanode 节点存储 block 的目录位置-->
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
	<!--配置 hdfs 副本数量-->
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
	<!--关闭 hdfs 的权限检查-->
</property>

在这里插入图片描述

2.4.3 修改 hadoop-env.xml 配置文件

hadoop.env.sh 文件主要配置 Hadoop 环境相关的变量，这里主要修改JAVA_HOME的安装目录，具体配置如下所示。

[root@hadoop1 hadoop]# vim hadoop-env.sh

大概第 25 行位置进行修改：
export JAVA_HOME=/usr/local/jdk

备注，如果你有给JAVA配置JAVA_HOME环境变量，此处也可以不进行修改

2.4.4 修改 mapred-site.xml 配置文件

mapred-site.xml 文件主要配置跟 MapReduce 相关的属性，这里主要将 MapReduce 的运行框架名称配置为 YARN，具体配置内容如下所示：

# 先拷贝一份
[root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop1 hadoop]# vim mapred-site.xml

在里面添加如下内容（注释记得去掉，避免引起格式错误）

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<!--指定运行 mapreduce 的环境为 YARN-->
</property>

在这里插入图片描述

2.4.5 修改 yarn-site.xml 配置文件

yarn-site.xml 文件主要配置跟 YARN 相关的属性，具体配置内容如下所示。

[root@hadoop1 hadoop]# vim yarn-site.xml

在里面添加如下内容（注释记得去掉，避免引起格式错误）

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	<!--配置 NodeManager 执行MR任务的方式为 Shuffle 混洗-->
</property>

在这里插入图片描述

2.4.6 修改 slaves 配置文件

slaves 文件主要配置哪些节点为 datanode 角色，由于目前搭建的是 Hadoop伪分布集群，所以只需要填写当前主机的 hostname 即可，具体配置内容如下所示：

[root@hadoop1 hadoop]# vim slaves

里面添加如下内容(主机名称):
hadoop1

2.4.7 配置 Hadooop 环境变量

在 root 用户下，添加 Hadoop 环境变量， 具体操作如下所示：

[root@hadoop1 hadoop]# vim /etc/profile

里面添加如下内容：

# 添加 Hadoop环境变量
HADOOP_HOME=/usr/local/hadoop
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME PATH

在这里插入图片描述

更新环境配置文件

[root@hadoop1 hadoop]# source /etc/profile

查看 Hadoop 版本

[root@hadoop1 hadoop]# hadoop version

在这里插入图片描述

2.4.8 创建配置文件里面的目录

[root@hadoop1 hadoop]# mkdir -p /root/data/tmp
[root@hadoop1 hadoop]# mkdir -p /root/data/dfs/name
[root@hadoop1 hadoop]# mkdir -p /root/data/dfs/data

三、启动伪分布式 Hadoop 集群

3.1 格式化主节点 namenode

在 Hadoop 安装目录，使用如下命令对 NameNode 进行格式化

[root@hadoop1 hadoop]# ./bin/hdfs namenode -format

在这里插入图片描述

注意：第一次安装 Hadoop 集群需要对 NameNode 进行格式化，Hadoop 集群安装成功之后，下次只需要使用脚本 start-all.sh 一键启动 Hadoop 集群即可。

3.2 启动 Hadoop 伪分别集群

在 Hadoop 安装目录下，使用脚本一键启动 Hadoop 集群，具体操作如下所示：

[root@hadoop1 hadoop]# ./sbin/start-all.sh

在这里插入图片描述

3.3 查看 Hadoop 服务进程

通过 jps 命令查看 Hadoop 伪分布集群的服务进程，具体操作如下：

[root@hadoop1 hadoop]# jps

在这里插入图片描述

如果服务进程中包含 Resourcemanager、Nodemanager、NameNode、DataNode 和 SecondaryNameNode 等5个进程，这就说明 Hadoop 伪分布式集群启动成功了。

3.4 查看 HDFS 文件系统

在浏览器中输入 http://hadoop1:50070 地址，通过 web 界面查看 HDFS 文件系统，具体操作如下：
在这里插入图片描述

3.5 查看 YARN 资源管理系统

在浏览器中输入 http://hadoop1:8088 地址，通过 web 界面查看 HDFS 文件系统，具体操作如下：

在这里插入图片描述

四、测试运行 Hadoop 伪分布集群

Hadoop 伪分布集群启动之后，我们以 Hadoop 自带的 WordCount 案例来检测 Hadoop 集群环境的可用性。

4.1 查看 HDFS 目录

在 HDFS shell 中，使用 ls 命令查看 HDFS 文件系统目录，具体操作如下所示：

[root@hadoop1 hadoop]# ./bin/hdfs dfs -ls /

由于是第一次使用 HDFS 文件系统，所以 HDFS 中目前没有任何文件和目录

4.2 参加 HDFS 目录

在 HDFS shell 中，使用 ls 命令查看 HDFS 文件系统目录，具体操作如下所示：

[root@hadoop1 hadoop]# ./bin/hdfs dfs -mkdir /test

4.3 准备测试数据

在 HDFS shell 中，使用 ls 命令查看 HDFS 文件系统目录，具体操作如下所示：

[root@hadoop1 hadoop]# vi words.log

添加如下内容：

hadoop hadoop hadoop 
spark spark spark
flink flink flink

4.4 测试数据上次到 HDFS

在 HDFS shell 中，使用 ls 命令查看 HDFS 文件系统目录，具体操作如下所示：

[root@hadoop1 hadoop]# ./bin/hdfs dfs -put words.log /test

4.5 运行 WordCount 案例

使用 yarn 脚本将 Hadoop 自带的 WordCount 程序提交到 YARN 集群运行，具体操作如下所示：

[root@hadoop1 hadoop]# ./bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar wordcount /test/words.log /test/out

执行完，查看 YARN 资源管理系统
在这里插入图片描述

查看作业运行结果

使用 cat 命令查看 WordCount 作业输出结果，具体操作如下所示。

[root@hadoop1 hadoop]# ./bin/hdfs dfs -cat /test/out/*

在这里插入图片描述
如果 WordCount 运行结果符合预期值，说明 Hadoop 伪分布式集群已经搭建成功

slb190623
关注
  • 27
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
搭建伪分布式Hadoop集群
qq_41957167的博客
10-13 1096
伪分布式Hadoop环境搭建
Hadoop伪分布式集群安装部署
郭龙飞的学习博客
02-19 1769
部署 下载安装包 上传并解压安装包 配置环境变量 修改配置文件 格式化 HDFS 修改脚本文件 启动并验证 停止集群 注意： 1、默认已安装并配置完成JDK环境 2、默认已安装并配置完成 CentOS7 Linux 环境 3、将当前主机名修改为 bigdata01 4、伪分布式集群一般在学习阶段使用 下载安装包 下载地址 https://hadoop.apache.org/ 点击 “download” 按钮 - 显示最新的版本，如果要下载早期版本点击如下连接 - 本教程已3.2.0版本为例
在windows环境下部署伪分布式Hadoop集群
weixin_44943389的博客
05-04 260
需要注意的是，在windows环境中部署hadoop可能会遇到一些问题，需要在操作过程中仔细阅读日志并根据错误消息进行调试和修复。配置hadoop文件：通过修改core-site.xml、hdfs-site.xml和mapred-site.xml配置文件，设置正确的hadoop路径和数据存储位置。启动hadoop服务：运行start-dfs.cmd和start-yarn.cmd脚本来启动hadoop服务。下载和解压hadoop：下载最新版本的hadoop，并将其解压到本地文件系统中。
Hadoop部署伪分布式
千锋教育
05-24 644
伪分布式模式也是只需要一台机器，但是与本地模式的不同，伪分布式使用的是分布式的思想，具有完整的分布式文件存储和分布式计算的思想。只不过在进行存储和计算的时候涉及到的相关的守护进程都运行在同一台机器上，都是独立的Java进程。​ 我们在core-site.xml中配置过hadoop.tmp.dir的路径，在集群格式化的时候需要保证在这个路径不存在！在电脑的浏览器中输入虚拟机的IP地址，如果做过了主机名映射，可以直接使用主机名。​ 总结来说: 伪分布式集群就是只有一个节点的分布式集群。
腾讯云搭建伪分布式Hadoop集群
Beans___Lee的博客
03-29 606
所谓伪分布式模式，就是一种单机模式。实际情况中只有一个节点（主机），适合于学习，但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 环境： 腾讯云服务器一台（单核2G内存，...
Linux 部署Hadoop伪分布式集群教程
qq_61247494的博客
09-12 1563
Linux 部署Hadoop伪分布式集群教程
全分布式Hadoop集群搭建
weixin_65572790的博客
10-18 1278
hadoop集群搭建
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
分布式部署①
gsdgdg00的博客
09-08 1269
📑打牌 ：🌤️个人专栏 ：☁️宝剑锋从磨砺出，梅花香自苦寒来。
分布式中间件-几个常用的消息中间件
wendao76的专栏
09-08 1013
分布式， 消息中间件
Redis分布式
Flying_Fish_roe的博客
09-07 826
Redis 的分布式架构包括主从复制、哨兵模式以及 Redis Cluster，分别适用于不同的应用场景。从简单的高可用性需求到复杂的水平扩展要求，Redis 提供了灵活的解决方案。在实现 Redis 分布式系统时，需要根据具体的应用场景进行合理的选择和配置，确保系统在性能、一致性和高可用性之间达到最佳平衡。
分布式中间件-redis相关概念介绍
最新发布
wendao76的专栏
09-11 734
是一个开源的、基于内存的、使用ANSI C语言编写的Key-Value数据库。它支持多种数据结构，并提供丰富的API，使其成为高性能的缓存、消息队列、实时分析等场景的理想选择。
Tranformer分布式特辑
yuetan的博客
09-07 1397
随着大模型的发展，如何进行分布式训练也成了每位开发者必备的技能。
分布式内存计算Flink环境部署
qq_61532016的博客
09-11 416
Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Flink在大数据体系同样是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上除去Spark以外，应用最为广泛的分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Flink Standalone集群Spark更加偏向于离线计算而Flink更加偏向于实时计算。
15_分布式数据结构
刘炫320的博客
09-11 302
老鸟：我们先从一个简单的例子开始。假设你有一个大表格，数据量非常大，单台机器处理起来很慢。这时候，如果我们把表格分成几部分，分别放到不同的机器上去处理，是不是就会快很多？菜鸟：听起来是这样，但具体怎么做呢？老鸟：这就是分布式数据结构的核心思想。通过将数据分片，分布在多个节点上进行并行处理。我们来看看一个简单的代码示例。老鸟：今天我们讨论了分布式数据结构的基本概念、操作细节和一些优化方法。你可以进一步学习一致性哈希、分布式文件系统（如HDFS）和分布式数据库（如Cassandra、MongoDB）。
ClickHouse--19-- 分布式 GLOBAL IN 和 GLOBAL JOIN
时光里的博客
09-11 583
当数据表包含多个分片的时候，我们需要将普通的本地查询转换为分布式查询。当然，这个转换动作是不需要用户自己进行的，在ClickHouse里面会由Distributed表引擎代劳。Distributed表引擎的定位就好比是一个分表的中间件，它本身并不存储数据，而是分片的代理，能自动的将SQL查询路由到每个分片。发起远程调用，根据集群的配置信息，从当前节点向远端分片发起Remote远程查询调用分布式表转本地表，在发送远程查询时，将SQL内的 _all表 转成 _local表。
WPF中依赖属性或附加属性的继承
weixin_42253874的博客
09-11 368
WPF 中的许多控件使用定义控件的结构和外观，因为它可以将控件的外观和功能区分开来。重新定义可以极大地更改控件的外观。例如，假设需要在标签或左上角显示一个小圆点，以不同颜色表示状态。由于Label使用控件模板定义外观，因此很容易重新定义以符合该控件的要求，从而使用Label来制作交通信号灯。尽管有些时候可以使用，但在某些时候，光有还不够。定义控件内容的外观。当外观要求与默认外观存在很大差异，有必要重新定义。一般情况下，用于定义控件的内容（或数据），用于定义控件的构成方式。
如何解决在idea中的hadoop日志错误
ABU009的博客
09-11 124
#hadoop#idea中解决hadoop日志报错问题#log4j配置文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

slb190623

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值