第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

下载hadoop

hadoop官网下载
我将hadoop安装到/usr/local：下载好的安装包解压到/usr/local，把文件夹名字改成了hadoop

修改配置文件

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的6个配置文件：
workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 、hadoop-env.sh

workers

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

hadoop-env.sh

配置好以后，将hadoopmaster上的/usr/local/hadoop分发到各个节点

在slave上执行：

关闭防火墙

启动

将hadoop配置到系统环境变量中

source ~/.bashrc 使配置生效

首次启动需要先在 hadoopaster 节点执行 NameNode 的格式化：

用hadoop namenode -format 或者 hdfs namenode 命令

在格式化信息里找到name has been successfully formatted 就格式化成功了

启动主节点

usr/local/hadoop/sbin目录下 执行 start-all.sh
后续学习中官方不推荐这个命令，可以用start-dfs.sh + start-yarn.sh

jps可以看启动了的进程

一些问题：

我最开始启动后jps显示如上图，没有resourcemanager和nodemanagers
后来查找了很多问题，发现是jdk版本太高了，后来换成1.8就可以正常启动了