五、Hadoop集群部署：从零搭建三节点Hadoop环境（保姆级教程）

已于 2025-05-07 23:17:41 修改
阅读量1.3k 收藏 16
点赞数 32
分类专栏： Hadoop教程 文章标签： hadoop 大数据 分布式
于 2025-05-07 21:43:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83830408/article/details/147767495
版权

作者：IvanCodes
日期：2025年5月7日
专栏：Hadoop教程

前言：
想玩转大数据，Hadoop集群是绕不开的一道坎。很多小伙伴一看到集群部署就头大，各种配置、各种坑。别慌！这篇教程就是你的“救生圈”。

一、磨刀不误砍柴工：环境准备（虚拟机与网络）

虚拟机克隆与基础配置 (以VMware为例)

第一步：准备一台基础Linux虚拟机：

你需要一台安装好Linux（推荐CentOS 7 或 Ubuntu 24.04.2/20.04）的虚拟机。确保它已安装常用工具，网络能通。

第二步：克隆虚拟机：

1.启动克隆向导： 在VMware Workstation中，右键点击你准备好的虚拟机，选择 “管理” -> “克隆”。

在这里插入图片描述
接着会弹出“欢迎使用克隆虚拟机向导”界面，直接点击“下一步”。
在这里插入图片描述
2.选择克隆源： 默认选择“虚拟机中的当前状态”，直接点击“下一步”。
在这里插入图片描述
3.选择克隆类型： 选择“创建完整克隆”。完整克隆会复制整个虚拟硬盘，确保每台“小鸡”都是独立的，不会相互影响。链接克隆虽然省空间，但不适合我们做集群。点击“下一步”。
在这里插入图片描述
4.命名与存放位置：
在这里插入图片描述

第三步：Windows宿主机VMnet8网卡IP配置

1.在Windows设置中，进入 “网络和 Internet”
2.点击 “高级网络设置”
在这里插入图片描述
3.找到 “VMware Network Adapter VMnet8”，展开它，点击 “查看其他属性”
在这里插入图片描述
4.点击“IP 分配”旁边的“编辑”
在这里插入图片描述
5.在“编辑 IP 设置”中，选择“手动”，打开IPv4，然后填写IP地址（如 192.168.121.1）和子网掩码（255.255.255.0）。网关和DNS对于这个宿主机的虚拟网卡通常不需要填写，或者可以填写VMnet8的网关（192.168.121.2）和你的常用DNS。
在这里插入图片描述

第四步：VMware虚拟网络配置 (关键步骤！)

1.在VMware Workstation主界面，点击菜单栏的 “编辑” -> “虚拟网络编辑器”
在这里插入图片描述
2.在“虚拟网络编辑器”中，你会看到一个网络列表，找到 VMnet8 (通常类型是NAT模式)
3.如果下方的配置选项是灰色的，你需要点击右下角的 “更改设置” 按钮，并可能需要提供管理员权限
在这里插入图片描述
4.选中VMnet8，然后进行以下配置：

4.1.确保连接类型选择 “NAT模式(与虚拟机共享主机的IP地址)”。
4.2.取消勾选 “使用本地DHCP服务将IP地址分配给虚拟机”
子网IP: 输入 192.168.121.0
子网掩码: 输入 255.255.255.0
在这里插入图片描述
5.配置NAT设置 (网关)：
将 “网关 IP(G):” 设置为 192.168.121.2
在这里插入图片描述
配置DHCP设置 (定义IP地址范围，可选但推荐检查)：
起始 IP 地址(S): 192.168.121.130
结束 IP 地址(E): 192.168.121.255

在这里插入图片描述

第五步：Linux虚拟机静态IP配置 (核心！以CentOS 7为例)：

在每台Linux虚拟机上，编辑网络配置文件，例如 /etc/sysconfig/network-scripts/ifcfg-ens33 (你的网卡名可能不同)。

 vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
hadoop02 的配置：将 IPADDR 改为 192.168.121.132。
hadoop03 的配置：将 IPADDR 改为 192.168.121.133。

  • 配置源码 (ifcfg-ensXX)：
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ensXX
DEVICE=ensXX
ONBOOT=yes
IPADDR=192.168.121.131
NETMASK=255.255.255.0
GATEWAY=192.168.121.2  
DNS1=114.114.114.114
  • 配置主机映射
  • 在hadoop01, hadoop02, hadoop03上都执行：
vim /etc/hosts

在这里插入图片描述

  • 修改 hadoop01 的主机名：
hostnamectl set-hostname hadoop01
  • 重启主机
reboot
  • 用ip a验证ip是否改正
  • 查看网络能否正常ping通

在这里插入图片描述

第六步：使用FinalShell连接虚拟机：

在这里插入图片描述
在这里插入图片描述

2. 关闭防火墙和selinux

  • 关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld
  • 关闭SELinux：
vim /etc/selinux/config
# SELINUX=disabled
#需重启虚拟机

在这里插入图片描述

3.配置SSH免密登录 (核心)：
在 hadoop01 中执行：

#验证ssh协议
ps -e | grep sshd
#生成钥匙
ssh-keygen -t rsa
#复制密码发送到其他设备
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03

在这里插入图片描述
在这里插入图片描述

4.时间同步 (NTP)：

yum install -y ntp
systemctl start ntpd
systemctl enable ntpd

在这里插入图片描述
在这里插入图片描述

5. 安装Java JDK

# 创建存放软件和安装包的目录
mkdir -p /export/server /export/softwares

5.1.上传并解压JDK安装包：
将你准备好的 jdk-8u361-linux-x64.tar.gz 文件，通过 FinalShell 的上传功能（或者其他sftp工具），上传到三台虚拟机的 /export/softwares/ 目录下。

进入 /export/server/ 目录，并解压 JDK 安装包：

cd /export/server/ # 进入我们计划安装软件的目录
# 解压 JDK 安装包
tar -xzf /export/softwares/jdk-8u361-linux-x64.tar.gz
# 解压后通常会得到一个名为 jdk1.8.0_361 的目录，用ls确认一下
ls /export/server/

在这里插入图片描述

5.2.配置 JAVA_HOME 环境变量：
在每台机器上，编辑环境变量文件 ~/.bashrc：

vim ~/.bashrc

在这里插入图片描述

export JAVA_HOME=/export/server/jdk1.8.0_361 # 注意这里的路径和解压出来的目录名一致
export PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc

在这里插入图片描述

二、Hadoop 安装与配置

1. 解压Hadoop到指定目录 (/export/server/)

  • 上传Hadoop安装包：将 hadoop-3.3.4.tar.gz 安装包，通过 FinalShell 上传到三台虚拟机的 /export/softwares/ 目录下。

  • 解压Hadoop到 /export/server/ 并重命名：

# 解压 Hadoop 安装包
tar -xzf /export/softwares/hadoop-3.3.4.tar.gz
# 为了方便，我们把它重命名为简洁的 hadoop
mv hadoop-3.3.4 hadoop

在这里插入图片描述

2. 配置Hadoop环境变量

编辑~/.bashrc 文件，追加 Hadoop 相关的环境变量：

vim ~/.bashrc

在这里插入图片描述

在文件末尾添加：

export HADOOP_HOME=/export/server/hadoop # 注意这里的路径是自定义安装路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 将 Hadoop 的命令加入到 PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop # 指定 Hadoop 配置文件的位置
export HADOOP_LOG_DIR=$HADOOP_HOME/logs # 指定 Hadoop 日志文件的位置
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop # YARN 配置文件的位置

让环境变量生效：

source ~/.bashrc

在这里插入图片描述

3. 修改Hadoop核心配置文件 (重点)

主要在 hadoop01 上修改，然后分发给其他节点。

  • (A) hadoop-env.sh (所有节点一致修改)
    • 这个文件主要配置 Hadoop 运行的环境，比如指定 Java。
cd /export/server/hadoop/etc/hadoop/
vim hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_361 
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

在这里插入图片描述

在这里插入图片描述

  • (B) core-site.xml (所有节点一致修改)
    • 这是 Hadoop 的核心配置文件，配置HDFS的地址、临时文件目录等。
vim /core-site.xml

<configuration>
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <!-- 指定Hadoop运行时产生文件的存储目录，比如MapReduce的临时数据 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop</value> <!-- 修改为自定义路径下的临时数据目录 -->
    </property>
    <!-- (可选但推荐) 用于WebHDFS和HTTPFS的用户模拟配置，让指定用户（这里是hadoopuser）可以模拟其他用户 -->
    <property>
        <name>hadoop.proxyuser.hadoopuser.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoopuser.groups</name>
        <value>*</value>
    </property>
<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
</configuration>
  • © hdfs-site.xml (所有节点一致修改)
    • 这个文件配置 HDFS 的具体参数，比如副本数量、NameNode和DataNode数据存放位置等。
vim hdfs-site.xml

<configuration>
    <!-- NameNode的Web UI访问地址 (Hadoop 3.x默认端口9870) -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop01:9870</value>
    </property>
    <!-- SecondaryNameNode的Web UI访问地址 (Hadoop 3.x默认端口9868) -->
    <property>
        <name>dfs.secondary.http-address</name>
        <value>hadoop01:9868</value> <!-- 我们也让它在hadoop01上 -->
    </property>
    <!-- SecondaryNameNode所在的主机和端口，NameNode会向它发送元数据 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop01:9868</value>
    </property>
    <!-- HDFS副本数量，我们有3个节点，可以设置为2或3。这里先设为2，至少保证有两个DataNode时数据有冗余 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!-- NameNode元数据(fsimage和editlog)存放的本地磁盘路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/export/server/hadoop/dfs_data/name</value> <!-- 修改为自定义路径 -->
    </property>
    <!-- DataNode数据块存放的本地磁盘路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/export/server/hadoop/dfs_data/data</value> <!-- 修改为自定义路径 -->
    </property>
    <!-- 开启WebHDFS功能，可以通过HTTP访问HDFS文件 -->
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>
  • (D) yarn-site.xml (所有节点一致修改)
    • 这是 YARN (资源管理器) 的配置文件。
vim yarn-site.xml

<configuration>
    <!-- 指定YARN的ResourceManager(RM)的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <!-- NodeManager上运行的附属服务，MapReduce Shuffle是必须的 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- ResourceManager的Web UI访问地址 (默认端口8088) -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop01:8088</value>
    </property>
    <!-- (可选) 开启日志聚集功能，方便在Web UI上查看已完成任务的日志 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- MapReduce JobHistory Server 的日志服务地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop01:19888/jobhistory/logs</value> <!-- 指向JobHistoryServer的Web UI -->
    </property>
    <!-- (可选) 日志保留时间 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value> <!-- 日志保留7天 (604800秒) -->
    </property>
</configuration>
  • (E) mapred-site.xml (所有节点一致修改)
    • 这个文件配置 MapReduce 的运行时框架和 JobHistory Server。
vim mapred-site.xml

<configuration>
    <!-- 指定MapReduce作业运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- MapReduce JobHistory Server 地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>
    </property>
    <!-- MapReduce JobHistory Server Web UI 地址 (默认端口19888) -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop01:19888</value>
    </property>
    <!-- (Hadoop 3.x需要) 使YARN能够正确找到和分发MapReduce相关的JAR包 -->
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>
  • (F) workers 文件 (仅在 hadoop01 上修改，然后分发)
    • 这个文件告诉 start-dfs.sh 和 start-yarn.sh 脚本，需要在哪些机器上启动 DataNode 和 NodeManager 进程。
vim workers

hadoop01
hadoop02
hadoop03

4. 分发配置文件 (在 hadoop01 上执行)

好了，配置文件修改完了。把 hadoop01 上的配置文件同步到 hadoop02 和 hadoop03 去。

  • 确保你在 hadoopuser 用户下，且在 $HADOOP_HOME/etc/ 目录下（也就是 /export/server/hadoop/etc/）。
cd /export/server
scp ~/.bashrc hadoop02:~/.bashrc
scp ~/.bashrc hadoop03:~/.bashrc
#传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件
scp -r hadoop hadoop02:$PWD
scp -r jdk1.8.0_361 hadoop02:$PWD
scp -r hadoop hadoop03:$PWD
scp -r jdk1.8.0_361 hadoop03:$PWD

5.验证是否成功
在这里插入图片描述

Ubuntu上Hadoop集群安装和搭建（三台虚拟机，保姆级教程）
金州饿霸吃不饱的博客
10-09 3625
注意：这里不要使用克隆去克隆虚拟机，因为ub克隆后网络会出现问题，所建议大家直接安装三台虚拟机。
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4409
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
Hadoop集群配置（三节点）&& Hbase集群配置（三节点）保姆级步骤
qq_45815075的博客
03-04 1227
虽然不使用完整的 Hadoop，但 HDFS 仍然属于 Hadoop 组件，因此需要下载 Hadoop 并配置 HDFS。停止所有 Hadoop 进程 (启动存在错误的时候，需要再次启动的时候，先执行停止进程的命令)替换为你的主 NameNode 服务器 IP 或主机名。jdk的JAVA_HOME自行配置，（Hadoop 3.x 之后。如果一切正常，你会看到。
Hadoop集群搭建保姆级教程
qq_64377514的博客
09-22 519
在hadoop搭建的时候会出现非常多的错误，如在修改配置文件时文件里原本会有一对,要记得删除，或者在修改cenos02、centos02结点上的主机名时记得在文件中也要修改，或者格式化的的时候执行了两遍等都会使程序不能正常运行，在我们搭建的过程中，遇见问题要学会查看日志，找到问题，出现问题才是你真正学习的时候。
Hadoop集群搭建保姆级教学
2301_80956509的博客
12-16 768
SSH无密码登录失败可能由以下原因导致:1. SSH配置错误:文件配置错误: 例如，PasswordAuthentication 选项设置为 no，则禁止使用密码登录，导致无法使用 ssh-copy-id 进行无密码登录。选项设置为 no**: 则禁止 root 用户使用 SSH 登录，需要使用普通用户登录后切换到 root 用户。
【Hadoop实战】Hadoop集群搭建攻略零失误，最完整的Hadoop搭建流程
小袁同学的博客
04-19 1648
Hadoop搭建攻略，HDFS教程，MapReduce，网络配置，免密配置，环境配置，核心配置文件，授权访问等等
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
Ice__Clean的博客
10-03 2722
—— 步骤 ——0. 背景1. 创建出第一个容器2. 为该容器配置 java 和 hadoop 环境3. 配置允许外界通过 ssh 连接容器4. 由该容器克隆出多个容器5. 为各个容器配置 ssh 免密登录6. 开始编写集群配置7. 启动集群 0. 背景 看到网上的教程，都是使用虚拟机克隆出多台虚拟机模拟集群 但在真正的服务器上，发现这种方法行不通了 这时候就想起 Docker 了，仔细想象 Docker 学完到现在还没真正实战过，这次正好是一个好机会 实现思路也很简单，在 Docker 中创建多个 Ce
搭建hadoop环境（保姆级教程）
weixin_44961033的博客
09-17 439
搭建Hadoop环境
保姆级Hadoop集群搭建教程：从零到三节点
"该资源是一份详尽的Hadoop集群搭建教程，适合初学者，提供了从下载...这份保姆级的Hadoop集群搭建教程，旨在通过详尽的步骤指导，帮助初学者从零开始构建自己的Hadoop环境，为大数据处理和分析的学习和实践打下基础。
Hadoop集群搭建教程（奶妈保姆级别，超级详细）
weixin_44041968的博客
12-11 243
命令：rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64。上传完毕后，输入命令tar -zxvf jdk-8u181-linux-x64.tar.gz -C /export/servers/进行解压安装jdk。先切换到这个目录下，使用命令：cd /export/servers/hadoop/etc/hadoop/切换之后就可以开始配置了。设置好ROOT密码后，密码一定记住别忘记了，后续会用到。
四、Hadoop 2.X vs 3.X：特性、架构与性能全解析
最新发布
大数据领域创作新星
05-08 819
Hadoop 从 2.X 到 3.X，不只是版本号的变化，而是存储方式、资源管理乃至集群效率的一次全面升级。本文带你对比这两个重要阶段的关键差异，看看新版本到底值不值得升级。
hadoop中的序列化和反序列化（2）
2301_81908848的博客
05-07 411
序列化在分布式系统中非常重要，尤其是在Hadoop这样的大数据处理框架中。：将对象转换为通用格式（如JSON、XML），便于不同语言和平台之间的交互。：在分布式计算中，通过序列化保存任务的状态，以便在失败时恢复。：将对象通过网络发送到其他节点。：将对象持久化到磁盘文件中。
零基础入门Hadoop：IntelliJ IDEA远程连接服务器中Hadoop运行WordCount
努力的小雨，一个阳光向上的博客不仅仅给你知识更希望带给你快乐
05-08 608
通过今天的分享，我们简单地了解了大数据处理中一个经典的应用——WordCounter，并通过Hadoop框架的实践，展示了如何使用MapReduce进行分布式计算。虽然表面上看，WordCounter是一个相对简单的程序，但它却揭示了大数据处理中的核心思想。从安装配置到编写代码，我们一步步走过了Hadoop集群的搭建过程，希望通过这篇文章，你能对大数据应用开发，特别是Hadoop框架下的MapReduce编程，获得一些启发和帮助。
【PDF拆分+提取内容改名】批量拆分PDF提取拆分后的每个PDF物流面单数据改名或导出表格，基于WPF的PDF物流面单批量处理方案
05-05 696
​PDF批量拆分​​：将多页PDF按页拆分为单独文件​​物流数据提取​​：从面单中提取运单号、收件人信息等关键数据​自动化处理​​：支持批量重命名或导出Excel表格​​用户友好界面​​：提供进度显示和日志记录功能。
hadoop中的序列化和反序列化（4）
2301_81908848的博客
05-07 355
java复制public PersonWritable() {} // 默认构造函数@Override@Override@Override序列化和反序列化：将对象转换为字节序列（序列化），以及将字节序列转换回对象（反序列化）。Java序列化：通过实现接口，使用和。Hadoop序列化：通过实现Writable接口，支持高效、紧凑的序列化格式，适合大规模数据处理。Hadoop序列化的优势：高效、可扩展、语言无关。
WPF中解决数据绑定不匹配的问题
Vae2437426397的博客
05-08 392
用途：在数据绑定中进行单值转换，例如将布尔值转换为可见性状态、颜色等。实现要点：实现Convert和方法，Convert用于正向转换，用于反向转换。适用场景：当源数据和目标数据之间存在一对一的转换关系时使用。用途：在数据绑定中进行多值转换，例如将多个数值进行计算后显示结果。实现要点：实现Convert和方法，Convert接收一个对象数组作为输入，返回一个对象数组。适用场景：当源数据和目标数据之间存在多对一或一对多的转换关系时使用。
【hadoop】Hbase java api 案例
2401_83769134的博客
05-08 397
马倚斜桥，满楼红袖招。 —— 韦庄 《菩萨蛮》
基于 Spark 和 Hadoop 的空气质量数据分析与预测系统
m0_73494933的博客
05-05 1135
通过这个项目，我将大数据技术（Spark、Hadoop）和 Web 开发（Flask、ECharts）结合在一起，打造了一个功能丰富、用户友好的空气质量分析与预测系统。无论是从数据处理到可视化，还是从用户交互到预测功能，这个系统都展示了现代技术的强大潜力。如果你对这个项目感兴趣，欢迎留言交流！私信分享源码。
【hadoop】Sqoop数据迁移工具的安装部署
2401_83769134的博客
05-08 654
万物皆有裂痕，那是光照进来的地方。 —— 莱昂纳德・科恩
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值