Hadoop安装部署之修改配置文件

本文所部署安装的hadoop版本为3.3.6，安装路径为/usr/local/hadoop-3.3.6。

自定义配置文件概述

第一类1个：hadoop-env.sh

第二类4个：core-site.xml        核心模块配置

                    hdfs-site.xml        hdfs文件系统模块配置

                    mapred-sitem.xml        MapReduce模块配置

                    yarn-site.xml        yarn模块配置

第三类1个：workers

所有配置文件目录均在hadoop-3.3.6/etc/hadoop

配置文件具体参数设置

hadoop-env.sh

#添加JAVA环境,本文所使用的是jdk1.8.0
export JAVA_HOME=/usr/java/jdk1.8.0_391

#设置启动hadoop集群角色的用户
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

core-site.xml

<configuration>
<!-- 设置默认使用文件系统hadoop支持file、HDFS、GFS、ali|Amazon等云文件系统 -->
    <property>
        <name>fs.defaultFS</name>