关于hadoop 3.1.1的集群搭建并完成HA(高可用)配置

最新推荐文章于 2024-03-02 09:24:04 发布

WZMineMine

最新推荐文章于 2024-03-02 09:24:04 发布

阅读量604

点赞数 1

分类专栏：大数据学习文章标签： Hadoop3.1.1 Hadoop 大数据环境

本文链接：https://blog.csdn.net/WZMineMine/article/details/86667937

版权

本文详细介绍如何从零开始搭建Hadoop 3.1.1集群，并实现高可用(HA)配置。内容涵盖安装平台选择、JDK、Hadoop、Zookeeper的安装与配置，以及集群的静态IP、免密钥、环境变量设置等关键步骤。

摘要由CSDN通过智能技术生成

一、简介

hadoop是Apache基金会的一个顶级项目，最早期版本是十多年前发布的，随着飞速的迭代更新，2018年已经更新到了3.1.1版本。网络上大多数都是旧版本的配置，本文却是最新版本的hadoop的配置方法。本文以hadoop 3.1.1为例，讲述如何从零开始搭建好hadoop集群。

二、准备工作

集群资源配置总览

	NameNode	JournalNode	DataNode	ResourceManager	zookeeper
node1	√	√		√
node2	√	√	√	√	√
node3			√		√
node4			√		√

1.安装平台

安装平台，是指hadoop软件需要搭建在linux系统中。国内有两大知名linux平台，分别是Ubuntu和Centos。
给出官网的下载地址：
Ubuntu : https://www.ubuntu.com/download/desktop
Centos : https://www.centos.org/download/

2.软件包

(1) JDK: hadoop是基于java进行开发的，所有hadoop运行需要JVM的支持，作者使用的是jdk1.8的版本，下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
如图：
在这里插入图片描述
(2) Hadoop: 给出官网镜像下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/
如图：
hadoop3.1.1下载
(3) zookeeper
下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/

(4)常用软件
Windows端：推荐使用VMware虚拟机，xshell：linux连接管理工具，xftp：上传文件到linux 工具
MacOs端：推荐使用VMware虚拟机，zoc7：linux连接管理工具，FileZila：上传文件到linux 工具

二、让我们开始吧

1.配置静态ip

修改网络配置文件，以centos7为例。

vi /etc/sysconfig/network-scripts/ifcfg-eth0

设置如下：

++++++++++++++++++++++++++++++++
DEVICE="eth0"
BOOTPROTO="static" #将原来的值“dhcp”改为“static”
HWADDR="00:0C:29:F2:4E:96"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="b68b1ef8-13a0-4d11-a738-1ae704e6a0a4"
IPADDR=192.168.1.16    #你需要定义的IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.1    #默认网关