hadoop3.3.6集群搭建

已于 2024-08-05 00:42:44 修改
阅读量832 收藏 22
点赞数 19
分类专栏： 中间件 系统运维 大数据 文章标签： hadoop 大数据 分布式
于 2024-08-04 17:39:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/admin_cx/article/details/140908892
版权

hadoop3.3.6集群搭建

一、前置条件

  1. 服务器：3台，1主2从,centos7

    IPhostname说明
    192.168.108.137centos137master
    192.168.108.138centos138node
    192.168.108.139centos139node

    三台服务之间能通过hostname访问

    # hostname修改
hostnamectl set-hostname centos137
#三台修改hosts文件，添加以下命令
192.168.108.137 centos137
192.168.108.138 centos138
192.168.108.139 centos139
#重启
reboot

  2. hadoop集群（版本号2.2+），集群中安装有HDFS服务

  3. JDK1.8+（推荐自己安装JDK，需要JAVA_HOME环境变量）

使用3.3.6版本

二、角色分配

节点部署角色目录

节点ipNNSNNDNRMNMHS
centos137192.168.108.137√√
centos138192.168.108.138√√√√
centos139192.168.108.139√√

角色说明

HDFSYARNMapReduce
NameNode（NN）ResourceManager（RM）HistoryServer（HS）
SecondNameNode （SNN）NodeManager（NM）
DataNode （DN）

组件默认端口清单

组件端口说明
HDFS8020NameNode
50010，50020、50075DataNode
YARN8032ResourceManager
8088Web界面
8040NodeManager协议
8042Web界面
MapReduce10020HistoryServer协议
19888Web界面
Hadoop Common49152~65535Inter-Process Communication
ZooKeeper2181Hadoop集群的协调服务
Hadoop Web界面9870NameNode Web界面
8088ResourceManager Web界面:
19888JobHistoryServer Web界面
Hadoop RPC8019Remote Procedure Call

安装包：国内镜像地址：Index of /apache/hadoop/common/hadoop-3.3.6 (tsinghua.edu.cn)

2.1软件安装（所有服务器）

ssh免密登录
useradd hadoop
passwd hadoop

忽略提示密码太短的警告

# 切换用户
su hadoop

先输入密码自己登录下自己生成.ssh目录

ssh localhost

生成秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
分发密钥（主节点上执行）
#后面是想要免密登录的节点主机名
ssh-copy-id centos137
ssh-copy-id centos138
ssh-copy-id centos139

测试centos137登录各个节点是否免密例如登录centos138

ssh centos138

在所有虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software
1.解压
tar -zxvf hadoop-3.3.6.tar.gz -C /export/servers/
2.配置环境变量
vi /etc/profile
# 文末追加
export HADOOP_HOME=/export/servers/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 环境变量生效
source /etc/profile
3.验证
[root@centos137 servers]# hadoop version
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T08:22Z
Compiled on platform linux-x86_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /export/servers/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar

** 注意环境切换 **

2.2主节点配置

进入hadoop安装目录
cd /export/servers/hadoop-3.3.6/etc/hadoop
修改配置hadoop-env.sh
vim hadoop-env.sh

# 添加JAVA_HOME
export JAVA_HOME=/export/servers/jdk

修改workers

vim workers

添加
centos137
centos138
centos139

内容：

[hadoop@centos138 sbin]$ cat workers 
centos137
centos138
centos139
修改core-site.xml
vim core-site.xml
  • 配置HDFS的URI和临时目录
  • HDFS网页登录使用的静态用户
  • 添加以下配置
<configuration>
    <!--setting HDFS-->
    <property>
        <name>fs.defaultFS</name>
        <!--setting namenode-->
        <value>hdfs://centos137:9000</value>
    </property>
    <!--setting temp folder，default:/tem/hadoop-${user.name}-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-3.3.6/tmp</value>
    </property>
    <!-- HDFS web loggin static  user -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
</configuration>
修改hdfs-site.xml文件
vim hdfs-site.xml

  • 指定HDFS的数量

  • 配置secondary namenode

  • 添加以下配置

<configuration>
    <!--setting HDFS number-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--setting secondary namenode-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>centos138:50090</value>
    </property>
</configuration>
修改mapred-site.xml文件
vim mapred-site.xml
  • 指定MapReduce运行时的框架，这里指定在YARN上，默认在local
  • 历史服务器端地址

添加配置​

<configuration>
        <!-- 执行MapReduce的方式：yarn/local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>centos138:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>centos138:19888</value>
        </property>
</configuration>
修改yarn-site.xml文件
  • 指定YARN集群的管理者（ResourceManager）的地址
  • 指定MR走shuffle
  • 开启日志聚集功能
  • 设置日志聚集服务器地址
  • 设置日志保留时间为 7 天
vim yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>centos137</value>
        </property>
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- open log aggregation -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <!-- log erver -->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://centos138:19888/jobhistory/logs</value>
        </property>
        <!-- log save days-->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
</configuration>
目录授权

将安装目录的权限赋予hadoop用户

chown -R hadoop:hadoop /export/

2.3文件分发

将master的配置分发到从node

scp -r /export/servers centos138:/export
scp -r /export/servers centos139:/export

2.4启动hadoop集群

格式化NameNode

hdfs namenode -format

格式化NameNode会产生新的集群id，导致DataNode中记录的的集群id和刚生成的NameNode的集群id不 一致，DataNode找不到NameNode。所以，格式化NameNode时，一定要先删除每个节点的data目录和logs日志，然后再格式化NameNode,一般只在搭建初期执行这一次。

在master(centos137)执行

# 启动集群
/export/servers/hadoop-3.3.6/sbin/start-all.sh
# 停止集群
/export/servers/hadoop-3.3.6/sbin/stop-all.sh

[hadoop@centos137 hadoop-3.3.6]$ /export/servers/hadoop-3.3.6/sbin/start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [centos137]
Starting datanodes
Starting secondary namenodes [centos138]
Starting resourcemanager
Starting nodemanagers

启动过程有错误输出，核对文件分发后的目录是否正确

启动历史服务（centos138节点）

 mapred --daemon start historyserver

或者HDFS和YARN单独启动

# 启动
start-dfs.sh
start-yarn.sh
# 停止
stop-dfs.sh
stop-yarn.sh

集群部署验证
每个节点执行jps命令验证hdfs集群启动的角色是否正确

2.5集群部署验证

  • 每个节点执行jps命令验证hdfs集群启动的角色是否正确

    执行：jps

    centos138角色： NN、RM、NM、DN

    [hadoop@centos137 hadoop-3.3.6]$ jps
34082 ResourceManager
34228 NodeManager
33638 DataNode
33497 NameNode

37790 Jps


centos138角色：SNN、DN、NM、HS

```bash
[hadoop@centos138 sbin]$ jps
32530 SecondaryNameNode
26679 JobHistoryServer
33321 Jps
32733 NodeManager
32383 DataNode

centos139角色：NM、DN

[hadoop@centos139 hadoop]$ jps
51088 NodeManager
51685 Jps
50823 DataNode

根据组件默认端口清单访问WEB UI

34228 NodeManager
33638 DataNode
33497 NameNode
37790 Jps


centos138角色：SNN、DN、NM、HS

```bash
[hadoop@centos138 sbin]$ jps
32530 SecondaryNameNode
26679 JobHistoryServer
33321 Jps
32733 NodeManager
32383 DataNode

centos139角色：NM、DN

[hadoop@centos139 hadoop]$ jps
51088 NodeManager
51685 Jps
50823 DataNode

根据组件默认端口清单访问WEB UI

参考链接：
https://blog.csdn.net/weixin_43655425/article/details/134751084
https://blog.csdn.net/tang5615/article/details/120382513

admin_cx
关注
  • 19
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
windows下安装hadoop的依赖库
12-02
在Windows环境下搭建Hadoop环境，一个关键步骤是安装Hadoop的依赖库。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据。在Windows上安装Hadoop时，需要确保系统具备所有必要的组件和配置，以便正确...
hadoop3.3.0-winutils所有bin文件
02-27
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许在大规模集群上处理海量数据。Hadoop 3.3.0是该框架的一个版本，它带来了许多改进和新特性，旨在提升性能、稳定性和可扩展性。WinUtils是Hadoop在...
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1234
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 1713
一文搞定Hadoop完全分布式部署
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
最新发布
weixin_45962133的博客
07-12 1217
hadoop3.3.6完全分布式集群部署，三个节点配置
Hadoop(02) Hadoop-3.3.6 集群的配置教程
weixin_38735917的博客
10-03 3722
为了简化分布式模式的部署难度，我们可以使用两个节点（两台物理机器）来搭建一个简单的集群环境。为了便于区分，我们将其中一台机器将作为Master节点，其主机名命名为hadoop01；另一台机器将作为Slave节点，其主机名命名为hadoop02。如果需要构建由三个以上节点组成的集群，可以采用类似的方法进行安装和部署。
Hadoop脚本启动之Start-all.sh脚本流程解析
热门推荐
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
Hadoop 安装包，快速下载地址
09-01
Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发，它允许在分布式集群上存储和处理大量数据。在 Windows 环境下安装 Hadoop 可能相对复杂，因此提供详细的安装说明至关重要。 描述 "Hadoop 安装包...
Hadoop安装
12-05
至此，我们已经成功地在三个虚拟机上搭建了一个基本的Hadoop集群，并配置了Zookeeper集群。这个集群可以处理大数据的分布式计算任务，提供了高可用性和容错性。然而，这只是Hadoop生态系统的基础，实际上还包括许多...
hadoop集成snappy安装配置文档
09-29
### hadoop集成snappy安装配置知识点详解 #### 一、snappy安装配置 **1.1 下载源码** Snappy是一种高效的压缩和解压缩算法，适用...通过上述步骤，用户可以顺利地在自己的环境中搭建起基于Snappy压缩的Hadoop集群。
Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置
weixin_38735917的博客
09-26 6490
在安装 Hadoop 3.3.6 前，需要满足以下前置条件：Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK，并设置 JAVA_HOME 环境变量。SSH：Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在所有节点上安装和配置了 SSH，并且可以通过 SSH 无密码登录到集群的各个节点。
大数据集群:hadoop3.3.6,spark,hbase,zookeeper
capatical的博客
11-14 1055
大数据集群hadoop3.3.6，spark，hbase
Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3
xinglu20的博客
11-21 3048
/修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录。重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限。推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发。在安装过程中推荐设置root用户密码为1234方面后续操作。权限 给 hadoop 用户配置相关权限。hadoop2,3分别创建软连接。hadoop2,3创建软连接。hadoop2 修改为2。hadoop3 修改为3。以hadoop3为例。
Hadoop-3.3.6完全分布式集群安装
m0_63480823的博客
09-09 346
Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机。Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip。Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名。Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹）
在Ubuntu上安装Hadoop集群最速度教程
weixin_62796203的博客
12-09 774
ubuntu搭建hadoop集群中间可能会遇到许多小问题，比如ssh-copy-id,最后的访问web端等等，以及中间要无数次切换普通用户和root来达到互联，可能centos搭建hadoop会简单一点。搭建起来确实不太容易对于新手来说不太友好，做这样一个教程来帮助新手在ubuntu上配置hadoop集群。不要选择典型安装，典型安装之后登陆不上去，用户名和密码是正确的也登陆不上去（可能是这个版本的ubuntu有bug）设置->关于->软件->其他->选择服务器（推荐中科大的）
Hadoop3.3.6高可用集群搭建
qq_28604399的博客
09-07 747
在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。解决方法：安装插件psmisc。
Hadoop集群的搭建（全网最详细，看了就会）
m0_74343117的博客
08-24 4446
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。Hadoop安装包链接：https://pan.baidu.com/s/12R1q8ygEnosP9pVbX5rvxg提取码：LZZY。
Centos9搭建hadoop3.3.6(二)
yuwangcom的博客
09-22 147
zookeeper安装 hadoop3x安装 hadoop3x端口改为9870
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值