Hadoop集群搭建（分布式安装）

文章目录

• • 概要
  • 整体架构流程
  • 技术名词解释
  • 技术细节
  • 小结

概要

Hadoop集群的搭建。

整体架构流程

Hadoop是一个分布式计算框架，它能够处理大量的数据，支持众多的应用程序。在搭建Hadoop集群之前，需要准备以下几个环节：

1.准备三台云服务器，这些服务器需要运行相应的操作系统（一般为Linux）。

2.务必操作系统选择CentOS8、勾选到期自动释放、同一集群内选择同一地域。（云服务器方便）

3.服务器配好之后在将三台主机进行ping同看看有没有网

4.每台主机都创建用户：

useradd hadoop

passwd hadoop 

# 设置 hadoop 用户密码

5.配置Hadoop。

下面是Hadoop集群的搭建步骤：

1.安装Java环境

①首先执行以下命令查看可安装的jdk版本：

yum -y list java*

②选择自己需要的jdk版本进行安装，比如这里安装1.8，执行以下命令：

yum install -y java-1.8.0-openjdk-devel.x86_64

③.安装完成之后，查看安装的jdk版本，输入以下指令：

java -version

2.修改Hadoop配置文件

每台机子都安装Hadoop执行以下操作：

su - hadoop # 以 hadoop 用户执行

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz #远程下载语句

tar zxvf hadoop-3.3.6.tar.gz # 解压

①新增系统级环境变量：

su - # 切换至 root 用户操作

vi /etc/profile.d/hadoop.sh # 在 /etc/profile.d/ 目录内新建 hadoop.sh 文件

  在打开的hadoop.sh中输入以下内容： 

export HADOOP_HOME=/home/hadoop/hadoop-3.3.6#你下载的对应的Hadoop版本号

export PATH= $PATH : $HADOOP_HOME /b