一、配置Hadoop集群
Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop目录里
配置文件 | 功能描述 |
---|---|
hadoop-env.sh | 配置Hadoop运行所需的环境变量 |
yarn-env.sh | 配置Hadoop运行所需的环境变量 |
core-site.xml | Hadoop核心全局配置文件,可在其他配置文件中引用 |
hdfs-site.xml | HDFS配置文件,继承core-site.xml配置文件 |
mapred-site.xml | MapReduce配置文件,继承core-site.xml配置文件 |
yarn-site.xml | Yarn配置文件,继承core-site.xml配置文件 |
yarn-site.xml | 配置从节点文件 |
1、在master虚拟机上配置hadoop
(1)编辑Hadoop环境配置文件 - hadoop-env.sh
执行命令:cd $HADOOP_HOME/etc/hadoop,进入hadoop配置目录
执行命令:vim hadoop-env.sh,添加三条环境变量配置
存盘退出后,执行命令source hadoop-env.sh,让配置生效
查看三个配置的三个环境变量
(2)编辑Hadoop核心配置文件 - core-site.xml
执行命令:vim core-site.xml
(3)编辑HDFS配置文件 - hdfs-site.xml
执行命令:vim hdfs-site.xml
<configuration>
<!--设置名称节点的目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-3.3.4/tmp/namenode</value>
</property>
<!--设置数据节点的目录-->
<property>
<name>dfs.datanode.data.dir</name>