Haddop+spark大数据分析（二）之Hadoop 集群的搭建

 

文章目录

前言

一、集群环境的下载及其配置

1.下载hadoop

2.配置 hadoop 环境变量

配置hadoop 核心环境

配置 core-site.xml

配置 hdfs-site.xml

配置 mapred-site.xml

配置 yarn-site.xml

配置 workers

禁用防火墙

二、克隆虚拟机及其相应设置

1. 克隆虚拟机

2.配置 ssh 免密登陆

三、hadoop的启动

格式化 HDFS（只需在第一次启动时执行）

启动集群

启动yarn

服务验证

总结

---

前言

上一节介绍了虚拟机的下载以及Java环境的搭建，这节主要讲解Hadoop集群的搭建

---

 

一、集群环境的下载及其配置

我们需要现在一台机器上配置好 hadoop，然后再把它拷贝到其他机器上，这里我选择在master 也就是要做为 nameNode 的那台机器

1.下载hadoop

再次强调 建议在克隆之前，先在一台机器上，下载、解压好再克隆，这样多台机器就都有了

下载

注：需要提前安装wget包  命令： yum install wget

官方地址：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

国内镜像地址（建议清华大学）：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.0.tar.gz

解压

下载完成后，下一步是解压

我是解压到 /usr/local/hadoop 目录下，其中 /hadoop 目录是我预先创建的

mkdir usr/local/hadoop

快速解压（参考别的博主）：

tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop

如果遇到  tar: Error is not recoverable: exiting now  错误，可参考https://stackoverflow.com/questions/3950839/tar-error-is-not-recoverable-exiting-now

简言之，分解压缩步骤，进入目录 /usr/local/hadoop 逐步执行如下代码

gunzip hadoop-3.3.0.tar.gz

 

tar xf hadoop-3.3.0.tar

 

2.配置 hadoop 环境变量

vi /etc/profile

在末尾追加hadoop环境

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

配置完成之后，刷新

nmcli c reload

查看变量是否生效

hadoop version

显示如下信息即正确

配置hadoop 核心环境

配置 hadoop-env.sh

首先，查看 JAVA_HOME 的地址

echo $JAVA_HOME

配置 JAVA_HOME 路径

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh