CentOS7搭建Hadoop集群(V3.3.4)

原创 已于 2024-01-16 11:22:30 修改 · 2.9k 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #分布式

于 2023-01-29 18:03:42 首次发布
本文详细介绍如何在Centos7环境下搭建Hadoop 3.3.4集群，包括前期准备、环境安装、配置修改、初始化与启动步骤及Web页面访问等内容。

Centos7搭建Hadoop集群V3.3.4


本次安装Hadoop版本为3.3.4
安装规划(3台机器) 

node01 ：192.168.117.20     NameNode DataNode
node02 ：192.168.117.21     DataNode
node03 ：192.168.117.22     DataNode SecondaryNameNode

一、准备工作

1、配置hostname

hostname分别为node01,node02,node03

# 三台机器分别执行
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03

在这里插入图片描述

2、hosts映射

# 三台机器均要执行
vim /etc/hosts
192.168.117.20 node01
192.168.117.21 node02
192.168.117.22 node03

3、关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

4、同步时间

yum install ntpdate
ntpdate ntp5.aliyun.com

在这里插入图片描述

5、关闭selinux

vim /etc/selinux/config
修改为 SELINUX=disabled

在这里插入图片描述

6、配置ssh免密登陆

# 三台机器均执行一下命令
ssh-keygen -t rsa
# 将每台机器的公钥拷贝给每台机器
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

测试
在这里插入图片描述

7、重启

reboot

二、安装所需环境

1、jdk安装

# 三台机器均执行
cd /etc/profile.d
vim jdk.sh
# 写入内容
export JAVA_HOME=/opt/button/jdk
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
# 使配置生效
source /etc/profile

验证

java -version

在这里插入图片描述

2、hadoop安装

下载安装包
配置环境变量

# 三台机器均执行
vim /etc/profile.d/hadoop.sh
# 写入内容
export HADOOP_HOME=/opt/button/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 使配置生效
source /etc/profile

验证

hadoop version

在这里插入图片描述
创建hadoop数据目录：

mkdir /opt/button/hadoop/data
cd /opt/button/hadoop
chmod -R 777 ./data/

三、修改配置

配置位于hadoop解压目录etc/hadoop目录下，三台机器配置保持一致
在这里插入图片描述

hadoop-env.sh

vim hadoop-env.sh
# jdk修改为自己的路径
export JAVA_HOME=/opt/button/jdk

在这里插入图片描述

注：相关配置具体说明可以查看官网

官网地址
在这里插入图片描述

core-site.xml

<!-- 指定HADOOP所使用的文件系统schema，NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node01:9000</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/button/hadoop/data</value>
</property>
<!-- 设置HDFS web UI用户身份 -->
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>root</value>
</property> 
<!-- 文件系统垃圾桶保存时间 -->
<property>
	<name>fs.trash.interval</name>
	<value>1440</value>
</property>

hdfs-site.xml

<!-- HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!-- nn web端访问地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>node01:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node03:9868</value>
</property>

mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
</property>

yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node01</value>
</property>
<!-- 环境变量的继承 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!--yarn单个容器允许分配的最大最小内存 -->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
<property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>4096</value>
 </property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>
<property>
     <name>yarn.application.classpath</name>
     <value>org.apache.hadoop.mapreduce.v2.app.MRAppMaster</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://node01:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

workers

vim workers
# 写入如下内容
node01
node02
node03

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行

四、初始化并启动

1、初始化

如果第一次启动集群需格式化NameNode，主节点操作(format首次初始化执行一次即可，后续如果执行除了会造成数据丢失，还会导致hdfs集群主从角色互不识别的问题，三思呀！！！)

hdfs namenode –format

如果该命令格式化无效，可以试试如下命令

hadoop namenode -format

格式化成功的样子如下所示即可
在这里插入图片描述

注：如果不是第一次，需要先执行stop-all.sh，然后删除data与logs中的文件再执行初始化命令,此操作不建议执行，可能会遇到很多问题。

2、启动

在node01节点上的sbin目录找到start-all.sh并执行即可
在这里插入图片描述
执行如下操作解决此问题

vim /etc/profile.d/my_env.sh
# 添加如下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
# 使配置生效
source /etc/profile

重新执行start-all.sh
在这里插入图片描述
查看启动的服务
在这里插入图片描述

3、相关说明

  • 这里执行start-all.sh会启动所有服务，如果只想启动自己所需要的服务，可以执行对应的脚本即可。
    比如启动hdfs可以执行start-dfs.sh即可。

在这里插入图片描述

  • 如果只想操作某个角色的进程，可以使用如下命令
# HDFS 
hdfs --daemon start namenode|datanode|secondarynamenode
hdfs --daemon stop namenode|datanode|secondarynamenode
# YARN
yarn --daemon start resourcemanager|nodemanager
yarn --daemon stop resourcemanager|nodemanager
  • 如果启动过程没有那么顺利，我们可以通过查看日志来排查问题。当执行启动脚本时，会自动在hadoop目录下帮我们创建logs文件夹，我们可以在logs文件夹下查询对用的日志文件。
    在这里插入图片描述

4、Web页面

HDFS集群Web UI默认端口9870，ip则为namenode的IP地址
http://192.168.117.20:9870/
在这里插入图片描述
注：在windows上使用web ui上传文件时，由于没法识别node01,node02,node03，所以上传文件会失败，只需要在windows的hosts文件加上对应的解析就可以正常操作了

# C:\Windows\System32\drivers\etc
192.168.117.20 node01
192.168.117.21 node02
192.168.117.22 node03

在这里插入图片描述

Yarn集群WEB Ui默认端口8088，ip则为resourcemanager的IP地址
http://192.168.117.20:8088/
在这里插入图片描述

五、测试hdfs

hadoop fs -mkdir /hfile
hadoop fs -put input.txt /hfile
hadoop fs -ls /hfile

在这里插入图片描述

六、Springboot整合Hdfs

Springboot整合hdfs-spring-boot-starter实现基本操作
Springboot整合hdfs-client实现基本操作

Centos7.9_hadoop集群下配置防火墙_安全部署_防火墙配置_端口配置_协议配置_IP配置_全部亲测---记录022_大数据工作笔记0182
添柴程序猿的专栏
07-24 1797
这个时候如果你配置了防火墙,如果扫描机的IP被屏蔽掉了,或者对应的端口被屏蔽掉了那么对我们来说,漏洞就扫描不到了,其实,除了系统本身的软防火墙,还有网闸,等待安全设备,可以保证内网的安全.在我们平时搭建大数据平台的时候,由于防火墙的限制,会让搭建集群的时候,报各种错误,但是,有些网络环境要求比较严格的地方,防火墙又要求必须要放开,尤其是..5.直接放开某个IP可以访问,本机所有端口,这样比较方便,因为有时候不知道有些开源软件内部还用到了哪些端口,如果一个个端口放开就比较麻烦。这里说一下防火墙的配置.
centos7搭建hadoop
congge
12-24 1万+
前言 hadoop是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此学习和掌握hadoop对学习大数据很有必要 haddop常用的3种运行模式包括： 本地模式 ，单机运行，只是用来演示一下官方案例。生产环境不用 伪分布式模式，也是单机运行，但具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境 完全分布式模式：多台服务器组成分布式环境。生产环境使用 本篇将基于centos7系统，在腾讯云环境快速搭建一个单节点的haddop运行环境 前置准备 一台配置好网络连接
在centos7上搭建hadoop集群
qq_38799155的博客
07-23 1万+
准备工作 主机名称 系统环境 ip地址 hadoop-master centos7 192.168.150.181 hadoop-slave1 centos7 192.168.150.182 hadoop-slave2 centos7 192.168.150.183 1.下载hadoop 本文用的是hadoop-2.7.3的版本 下载hadoop的链
centos7安装配置Hadoop集群
热门推荐
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
centos配置hadoop详细流程
最新发布
a2601933064的博客
09-25 894
本文详细介绍了Hadoop集群环境的搭建步骤。首先指导在VMware中安装带桌面的CentOS7系统，重点讲解了静态IP配置、主机名修改和网络设置。随后详细说明了SSH免密登录的配置方法，包括同机多用户和跨机用户之间的免密设置。接着演示了JDK和Hadoop的安装过程，包括环境变量配置和核心文件修改。最后介绍了通过虚拟机克隆快速搭建集群节点的方法，并讲解了克隆后需要调整的主机名、IP地址和免密登录设置。文章提供了完整的Hadoop配置文件模板，并说明了启动前的格式化操作和启动命令。整个流程涵盖了从单机安装到
CentOS7搭建Hadoop集群
指针先生
02-07 3737
10、部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停。-- 配置该user(superUser)允许通过代理访问的主机节点 -->-- 把多个NameNode的地址组装成一个集群mycluster -->-- 配置该user(superUser)允许通过代理用户所属组 -->-- 配置该user(superUser)允许通过代理的用户-->-- 指定hadoop运行时产生文件的存储目录 -->-- 配置HDFS网页登录使用的静态用户为user -->
centos7搭建hadoop集群
井桂印
06-19 5431
hadoop搭建和案例执行
CentOS7搭建hadoop集群
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）
weixin_42284792的博客
11-24 1661
CentOS7下安装Hadoop3.3.4集群，一个NameNode节点，三个DataNode节点
centos7搭建hadoop集群之rsync和xsync
yhblog的博客
11-14 1万+
文章记录于各个服务器（或者虚拟机等）已经配置了ssh免密登录，可执行下面操作，未配置ssh免密登录，可参考：https://blog.csdn.net/yhblog/article/details/84029535 此文章是基于centos7minimal版本的，纯净系统，所以还需要安装rsync工具（确保所有节点都必须安装rsync） 否则报错： 安装成功： 启动rsync服务 sys...
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
2301_77356579的博客
05-03 1133
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
大数据安装之hadoop-3.3.4
09-11 4145
hadoop3安装及问题
centos7安装 hadoop集群
张小三的博客
06-05 2484
由于hadoop2和hadoop3的配置也需要和hadoop1的配置一致，所以只需要将hadoop1中的/usr/local/hadoop3.4.0文件夹拷贝一份到hadoop2和hadoop3机器中即可。hadoop2和hadoop3两台服务器的环境变量配置也要和hadoop1中的配置一致。在hadoop1服务器中使用以下命令将hadoop1中已经配置好的hadoop发送到hadoop2和hadoop3.使用以下命令同步时间。启动完成之后hadoop1、hadoop2、hadoop3 中都会生成对应的。
CentOS7下Hadoop集群搭建（版本hadoop-2.7.3）
u011047968的专栏
08-08 2745
文章目录1、概念1.1、主从结构1.2、Hadoop集群角色名称2、安装前准备2.1、安装软件准备2.2、Hadoop集群服务器规划3、安装3.1 解压文件3.2 修改配置文件3.2.1.修改`hadoop-env.sh`配置3.2.2.修改`core-site.xml`配置3.2.3.修改`hdfs-site.xml`配置3.2.4.修改`mapred-site.xml`配置3.2.5.修改`yarn-site.xml`配置3.2.6.修改`slaves`配置3.3 增加Hadoop环境变量3.4 将Ha
Centos7搭建hadoop集群
qq_57074721的博客
02-25 650
hadoop集群搭建
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 2843
CentOS7 hadoop集群搭建
CentOS搭建hadoop
01-03
### 安装和配置Hadoop集群 #### 准备工作 为了在 CentOS 上成功搭建 Hadoop 集群，需先确保所有节点的操作系统已更新至最新版本并安装必要的依赖包[^1]。 ```bash sudo yum update -y sudo yum install java-1.8.0-openjdk-devel -y ``` #### 下载与解压 Hadoop 前往 Apache 官方网站下载适合的 Hadoop 版本，并将其放置于合适目录下完成解压缩操作。 ```bash wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar zxvf hadoop-3.3.4.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-3.3.4 /usr/local/hadoop ``` #### 修改环境变量 编辑 `~/.bashrc` 文件，在文件末尾追加如下内容以便设置 Hadoop 的环境变量： ```bash export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=${HADOOP_INSTALL} export HADOOP_COMMON_HOME=${HADOOP_INSTALL} export HADOOP_HDFS_HOME=${HADOOP_INSTALL} export YARN_HOME=${HADOOP_INSTALL} source ~/.bashrc ``` #### 编辑核心配置文件 进入 `/usr/local/hadoop/etc/hadoop/` 目录修改以下四个主要配置文件：core-site.xml, hdfs-site.xml, yarn-site.xml 和 mapred-site.xml。这些文件用于定义整个分布式系统的参数设定以及各组件之间的交互方式。 对于单 Master 多 Slave 架构而言，具体调整如下所示（假设 IP 地址分别为 master: 192.168.1.100; slave1: 192.168.1.101; slave2: 192.168.1.102） ##### core-site.xml ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> ``` ##### hdfs-site.xml ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.http-address</name> <value>master:50070</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hdfs/datanode</value> </property> </configuration> ``` ##### yarn-site.xml ```xml <configuration> <!-- ResourceManager --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <!-- NodeManager local directories --> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data/yarn/local</value> </property> <!-- Log aggregation settings --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` ##### mapred-site.xml ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` #### 初始化 NameNode 并启动服务 回到 Master 节点执行初始化命令之后再依次开启各个守护进程。 ```bash /usr/local/hadoop/bin/hdfs namenode -format start-all.sh jps ``` 通过以上步骤即可实现基于 CentOS 操作系统的简易版 Hadoop 集群部署过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值