centos7安装 hadoop集群

已于 2024-07-02 11:57:38 修改
阅读量2.1k 收藏 28
点赞数 12
分类专栏： 服务器 中间件 hadoop 文章标签： java hadoop centos 服务器
于 2024-06-05 15:31:14 首次发布
未经允许，不可转载 by张小三
本文链接：https://blog.csdn.net/qq_38313548/article/details/139470430
版权

目录

准备

  1. 虚拟机准备三台centos7的服务器。保证三台服务器之间网络互通。
  2. jdk1.8 安装完成，并在三台centos7的服务器配置好环境变量。
  3. hadoop-3.4.0安装包

集群搭建步骤

1. 环境准备

三台服务器IP

三台服务器IP如下

IP地址
192.168.83.144
192.168.83.145
192.168.83.146

关闭三台服务器的防火墙

使用一下命令关闭三台服务器的防火墙。

# 关闭防火墙。暂时关闭。重启服务器后系统自动开启防火墙
systemctl stop firewalld
# 禁用防火墙，服务器重启后防火墙是关闭状态
systemctl disable firewalld

修改三台服务器的hostname文件

使用以下命令编辑hostName文件

vi /etc/hostname

三台服务器修改的名称如下表

服务器修改后的hostname
192.168.83.144hadoop1
192.168.83.145hadoop2
192.168.83.146hadoop3

修改三台服务器的hosts映射

使用以下命令编辑hosts文件

vi /etc/hosts

在三台服务器的hosts文件新增以下配置：

192.168.83.144  hadoop1
192.168.83.145  hadoop2
192.168.83.146  hadoop3

配置三台服务器之间的免密登录

在每个服务器中使用以下命令生成RSA公钥和私钥

ssh-keygen

回车三次之后得到密钥。密钥存放地址在：/root/.ssh 下
使用以下命令将密钥分发给其他服务器达到免密登录的效果.
注意，第一次分发密钥需要输入密码

# 将密钥分给hadoop1
ssh-copy-id hadoop1

# 将密钥分给hadoop2
ssh-copy-id hadoop2

# 将密钥分给hadoop3
ssh-copy-id hadoop3

当三台服务器都分发完密钥之后，服务器之间即可进行免密登录

三台时间同步设置

为了保证三台服务器的时间一致，三台服务器需要同步网络时间。使用以下命令同步时间

ntpdate pool.ntp.org

也可以使用同步时间脚本。详情参考：centerOs7安装相关的应用脚本

2. hadoop安装资源划分

hadoop集群中主要有NameNode、DataNode、SecondaryNode 进程。
NameNode和SecondaryNode不要放在同一个服务器上。
DataNode在每个服务器上
具体如下表：

服务器安装资源
192.168.83.144NameNode、DataNode
192.168.83.145SecondaryNode 、DataNode
192.168.83.146DataNode

3. 开始搭建hadoop集群

192.168.83.144 即 hadoop1上的修改

解压安装包

将hadoop-3.4.0安装压缩包上传到服务器的 /usr/local/ 下
使用以下命令解压hadoop-3.4.0安装压缩包

# 格式：tar -zxvf  压缩包路径 -C  解压到的目标路径
tar -zxvf /usr/local/hadoop-3.4.0.tar.gz -C /usr/local/

解压完成后在 /usr/local/ 下会有一个名为 hadoop-3.4.0 的文件夹，此文件夹为hadoop的安装路径。
hadoop-3.4.0 文件夹目录结构说明如下：

bin: 存放命令执行文件
etc：存放配置文件
include：存放工具脚本
lib：存放资源库
sbin：存放管理集群的命令
share：存放共享资源、开发工具、官方案例
...

添加环境变量

使用以下命令打开编辑环境变量文件

vim /etc/profile

在文件中加入以下内容:

export HADOOP_HOME=/usr/local/hadoop-3.4.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：如果PATH的值中以 冒号: 分隔每个配置。hadoop的配置需要添加 bin 和 sbin 路径

修改完成后使用以下命令重新加载环境变量

source /etc/profile

验证hadoop环境配置

使用以下命令验证hadoop的环境配置是否可用

hadoop version

如果打印出hadoop的版本号，则说明配置环境成功。

修改hadoop配置

进入 /usr/local/hadoop-3.4.0/etc/ 下。对以下文件进行修改

core-site.xml

将原来core-site.xml中的configuration标签替换为以下内容

<configuration>
    <!-- 
    	设置NameNode节点 ，此处按照《hadoop安装资源划分》部分配置设置hadoop1为NameNode节点
    	注意: 
    	hadoop1.x时代默认端口9000 
    	hadoop2.x时代默认端口8020 
    	hadoop3.x时代默认端口 9820。此处的版本为3.4.0所以使用的是9820的默认端口 
   	-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9820</value>
    </property>
    
    <!-- 
    	hdfs的基础路径，此路径的tmp 文件夹不需要手动创建，Hadoop
    	会自动创建tmp文件夹
   	-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

hdfs-site.xml

将原来hdfs-site.xml中的configuration标签替换为以下内容

<configuration>
    <!-- hadoop块的副本数量，一般情况下建议等于集群机器节点数量。 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    
    <!-- 
    	设置SecondaryNameNode 节点 .
    	此处按照《hadoop安装资源划分》部分配置设置hadoop2为SecondaryNameNode 节点
    	SecondaryNameNode http访问主机名和端口号。
    -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop2:9868</value>
    </property>
    
    <!-- NameNode守护进程的http地址：主机名和端口号。-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1:9870</value>
    </property>
</configuration>

hadoop-env.sh

在 hadoop-env.sh 中加入以下配置

# 此处根据自己的jdk安装路径填写
export JAVA_HOME=/usr/local/jdk8

# Hadoop3中，需要添加如下配置，设置启动集群角色的用户
# NameNode 的启动用户
export HDFS_NAMENODE_USER=root

# DataNode 的启动用户
export HDFS_DATANODE_USER=root

# SecondaryNameNode  的启动用户
export HDFS_SECONDARYNAMENODE_USER=root

works

配置服务器节点.在works下加入以下配置。

hadoop1
hadoop2
hadoop3

到此hadoop1 的配置完成

192.168.83.145 和192.168.83.146 即hadoop2和hadoop3的配置

拷贝安装

由于hadoop2和hadoop3的配置也需要和hadoop1的配置一致，所以只需要将hadoop1中的/usr/local/hadoop3.4.0文件夹拷贝一份到hadoop2和hadoop3机器中即可。
在hadoop1服务器中使用以下命令将hadoop1中已经配置好的hadoop发送到hadoop2和hadoop3.

# 拷贝到hadoop2服务器的/usr/local/下
scp -r /usr/local/hadoop3.4.0 hadoop2:/usr/local/

# 拷贝到hadoop3服务器的/usr/local/下
scp -r /usr/local/hadoop3.4.0 hadoop3:/usr/local/

环境变量配置

hadoop2和hadoop3两台服务器的环境变量配置也要和hadoop1中的配置一致。参考上面的《 添加环境变量》步骤。
当然也可以使用拷贝的方式将hadoop1中已经配置好的环境变量文件拷贝到hadoop2和hadoop3。
最后都需要使用命令source /etc/profile重新加载环境变量配置

格式化集群

使用以下命令格式化集群。初始化一个新的hadoop集群环境
在hadoop1中使用以下命令格式化一个新的hadoop集群环境

hdfs namenode -format

执行成功之后，在hadoop1的安装路径 /usr/local/hadoop3.4.0/ 下会出现 tmp 文件夹，说明格式化成功。
注意，此时hadoop2和hadoop3还未生成tmp ，hadoop2和hadoop3需要集群启动之后才会自动生成此文件夹。

启动集群

在hadoop1中使用以下命令启动hadoop集群.

start-dfs.sh

启动完成之后hadoop1、hadoop2、hadoop3 中都会生成对应的tmp文件夹 。且分别在hadoop1、hadoop2、hadoop3 中使用 jps 命令都能查询到hadoop的进程信息。
如下三个图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他启动停止的操作命令

# 启动HDFS所有进程(NameNode、SecondaryNameNode、DataNode)
start-dfs.sh	

# 停止HDFS所有进程(NameNode、SecondaryNameNode、DataNode)		
stop-dfs.sh				

# hdfs --daemon start 单独启动一个进程
# 只开启NameNode
hdfs --daemon start NameNode	
# 只开启SecondaryNameNode		
hdfs --daemon start SecondaryNameNode	
# 只开启DataNode	
hdfs --daemon start DataNode				

# hdfs --daemon stop 单独停止一个进程
# 只停止NameNode
hdfs --daemon stop NameNode
# 只停止SecondaryNameNode
hdfs --daemon stop SecondaryNameNode	
# 只停止DataNode
hdfs --daemon stop DataNode

# hdfs --workers --daemon start 启动所有的指定进程
# 开启所有节点上的DataNode
hdfs --workers --daemon start DataNode		

# hdfs --workers --daemon stop 启动所有的指定进程
# 停止所有节点上的DataNode
hdfs --workers --daemon stop DataNode

4. 物理机浏览器访问hadoop系统界面

集群启动完成之后，在物理机的浏览器上访问以下地址：

http://192.168.83.144:9870

即可看到下图界面。
在这里插入图片描述

访问分布式文件系统

在界面导航栏中点击 Utilities –Browse the file system
在这里插入图片描述
即可进入文件系统
在这里插入图片描述

5. yarn 配置

yarn是hadoop的组件，不需要单独安装。修改配置即可使用

修改mapred-site.xml

编辑mapred-site.xml 在configuration 标签中添加以下配置

	<!-- 指定MapReduce作业执行时，使用YARN进行资源调度 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    <!-- /usr/local/hadoop-3.4.0 为hadoop的安装路径 -->
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.4.0</value>
    </property>
    
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.4.0</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.4.0</value>
    </property>

修改yarn-site.xml

编辑yarn-site.xml 在configuration 标签中添加以下配置

	<!-- 设置ResourceManager 
		hadoop1 为ResourceManager所在的机器
	-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>

    <!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> 
    </property>

修改hadoop-env.sh

编辑hadoop-env.sh 在末尾添加以下配置

	export YARN_RESOURCEMANAGER_USER=root
	export YARN_NODEMANAGER_USER=root

分发配置

将本机器的配置发送给其他节点的机器。使用scp命令分发整个配置文件夹即可。例如
将本机器的 /usr/local/hadoop-3.4.0/etc/ 下的 hadoop 文件夹分发给hadoop2 机器的 /usr/local/hadoop-3.4.0/etc 目录下。

scp -r /usr/local/hadoop-3.4.0/etc/hadoop root@hadoop2:/usr/local/hadoop-3.4.0/etc

同理，从hadoop1分发给hadoop3

scp -r /usr/local/hadoop-3.4.0/etc/hadoop root@hadoop3:/usr/local/hadoop-3.4.0/etc

启动和停止yarm

使用以下命令启动和停止yarn

启动

start-yarn.sh

停止

stop-yarn.sh

hadoop 操作脚本

创建hadoopUtil.sh 方便操作hadoop

#!/bin/bash
echo "hadoop的操作脚本"
echo "1. 启动所有进程(NameNode、SecondaryNameNode、DataNode、Yarn、mr-historyserver、timelineserver)"
echo "2. 停止所有进程(NameNode、SecondaryNameNode、DataNode、Yarn、mr-historyserver、timelineserver)"
echo "3. 查看集群所有节点的进程"


read -ep "请选择操作：" idx
if [ -z ${idx} ];then
        echo "未选择。退出"
        exit 1001
fi
if [ "1" == ${idx} ];then
        echo "启动HDFS所有进程(NameNode、SecondaryNameNode、DataNode、Yarn、mr-historyserver、timelineserver)"
        start-dfs.sh
        start-yarn.sh
        mapred --daemon start historyserver
        yarn --daemon start timelineserver
elif [ "2" == ${idx} ];then
        echo "停止HDFS所有进程(NameNode、SecondaryNameNode、DataNode、Yarn、mr-historyserver、timelineserver)"
        stop-dfs.sh
        stop-yarn.sh
        mapred --daemon start historyserver
        yarn --daemon stop timelineserver
elif [ "3" == ${idx} ];then
        HOSTS=( hadoop1 hadoop2 hadoop3 )
        for HOST in ${HOSTS[@]}
        do
                ssh -T $HOST << TERMINATER
                echo "---------- $HOST ----------"
                jps | grep -iv jps
                exit
TERMINATER
        
        done
fi
CentOS 7.7 安装 Hadoop 3.1.3集群
扛麻袋的少年的博客
04-08 993
四、CentOS 7.7 安装 Hadoop 3.1.3集群
centos7 hadoop集群的完整小白安装！！！！
ZhouCWei的博客
09-19 1019
hadoop集群的安装 完整 小白
centos7安装配置Hadoop集群
热门推荐
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
centos7安装hadoop集群
he_xin2009的专栏
04-16 2287
centos7安装Hadoop集群，踩坑处理
CentOS 7 上安装 Hadoop 集群的详细教程
最新发布
lqlj2233的博客
04-02 669
文件（网卡名称可能不同），设置静态 IP。
Hadoop 集群安装(Centos7)（摆脱繁杂步骤，20分钟快速安装！）[学生版]
weixin_52874187的博客
10-11 874
注：细节决定成败！准备环境：虚拟机：Vmwareworkstation16Projava :1.8hadoop:3.1本演示文档中hadoop文件目录：/home/hadoop/hadoopjava文件目录: /home/hadoop/javalinux常用命令：cd 切换目录ll 查看当前目录下所有的文件vim filename 编辑或创建文件sudo -s 进入超级用户tar -zxvf 解压压缩包pwd 查看当前目录所在位置。
CentOS7安装Hadoop集群
清徐柳的博客
07-13 1591
Centos7部署Hadoop3.3.6以及Hive3.1.3
centos7安装hadoop
qq_57074721的博客
01-21 3453
点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，需要点进去选择一些配置。点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。根据自己的电脑配置，选择处理机的数量以及每个核的数量。选择标准分区，添加挂载点/boot 分配1G空间。点击主机名，设置一个方便识别的主机名，点击完成。来到欢迎界面，左边滑倒最底下，选择中文。添加挂载点，分配剩下的空间，点击完成。
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 ...修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
实战CentOS系统部署Hadoop集群服务_centos下怎么调用一个集群系统
2401_84850808的博客
09-08 1593
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
CentOS7下安装hadoop
zjjcchina的博客
10-22 720
固定IP 修改文件 /etc/sysconfig/network-scripts/ifcfg-ens33 下面内容为参考 TYPE=Ethernet BOOTPROTO=static NM_CONTROLLED=yes #--------------下面内容根据vmware配置相应变更 IPADDR=192.168.41.199 NETMASK=255.255.255.0 GATEWAY=192.168.41.2 #-----...
Centos7安装hadoop
算法与编程之美
10-05 710
1 问题VMWare下centos7，通过官网下载hadoop的linux版本并解压配置环境后运行hadoop version显示bash：hadoop:未找到命令，在确定安装和环境配置上没问题后开始逐渐查找问题2 方法在先把网上常见的方法都尝试一遍无果后，开始排查是否为Hadoop版本兼容问题，一开始用的是hadoop2.10.0以后我换成了最新版本hadoop3.4.3，也不行，最后选择了ha...
CentOS7安装Hadoop
qq_51725978的博客
03-26 2488
1. 下载Hadoop的安装包 通过百度网盘下载Hadoop的安装包 链接：https://pan.baidu.com/s/1ey3cBmHslOwfYjjowdxunw 提取码：r2jn 2. 将下载好的安装包上传到Linux服务器 3. 解压压缩包 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ # 注： -C /opt/module/ 代表解压后的安装目录 解压完成之后 配置环境变量 进入 cd /etc/profile.d/ 目录 编写自己的配置文
centos7安装hadoop(集群模式)
weixin_40835924的博客
08-21 76
目录节点规划安装前准备准备jdk和hadoop的安装文件分别修改三台主机名字建立hadoop账号添加账号并且指定密码添加hadoop账号到sudo组,vi /etc/soduers切换到hadoop账号配置三台主机的证书登录解压jdk和hadoop配置环境变量复制jdk和配置文件到别的节点使环境变量生效编辑文件修改修改配置...
Centos7安装部署Hadoop集群
qq_38461377的博客
07-10 268
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放
Linux系统（Centos7）实现hadoop安装
weixin_45831715的博客
12-07 1万+
Linux系统（Centos7）实现hadoop安装
hadoop集群搭建centos7ip地址映射
09-19
Hadoop 集群搭建时，在 CentOS 7 系统上配置 IP 地址映射通常涉及到以下几个步骤： 1. **设置网络接口**：首先，你需要确定要用于 Hadoop 的网络接口，比如 `eth0` 或 `ens33`，使用命令行工具如 `ifconfig` 或 `ip addr` 查看并确认。 ```sh sudo ifconfig <your_network_interface> <IP_address> netmask <netmask> ``` 记得替换 `<your_network_interface>` 和对应的 IP 地址及网段掩码。 2. **配置主机名**：每个节点都应该有唯一的主机名，可以在 `/etc/hosts` 文件中添加映射，同时更新 `/etc/hostname`。 3. **安装必要的软件**：安装 Hadoop 包含的依赖，如 Java、SSH等。对于 Hadoop 本身，可以使用官方提供的 RHEL/CentOS 源或者第三方仓库如 EPEL。 4. **防火墙配置**：允许所需的端口通过防火墙，例如 HDFS 的 9000 端口和 YARN 的 8088 端口。 5. **修改 Hadoop 配置文件**：在 `/etc/hadoop/conf` 目录下，编辑 `core-site.xml`、`hdfs-site.xml` 和 `yarn-site.xml` 等文件，将 `hostnames` 设置为你配置的主机名，如果是分布式环境，还需要设置 `fs.default.name` 为所有节点的 `namenode` 地址。 6. **启动服务**：完成配置后，按照顺序启动 Hadoop 的各个服务，如 NameNode、DataNode、ResourceManager 和 NodeManager。 7. **验证节点通信**：你可以尝试使用 SSH 登录各节点，或者通过 Hadoop CLI 来测试节点间的连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小张帅三代

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值