【博学谷学习记录】超强总结，用心分享 | 狂野大数据Hadoop的搭建~个人学习&复习记录~PART-01

前提：Hadoop集群搭建方案，这里要搭建HDFS和Yarn集群

HDFS：

NameNode：node1

SecondaryNameNode：node2

DataNode：node1、node2、node3

Yarn：

ResourceManager：node1

NodeManager：node1、node2、node3

一、Hadoop的搭建

1、安装

下载好Hadoop的.tar.gz的安装包后，解压到软件的目录下/export/server

cd /export/software
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server

在node1上进入Hadoop的配置文件目录

cd /export/server/hadoop-3.3.0/etc/hadoop

2、在node1上对Hadoop的相关文件进行配置

（1）hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_241

#文件最后添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

说明：添加jdk的路径，并对各个角色赋予root权限

（2） core-site.xml

<!-- 指定HDFS的主节点NameNode在ndoe1上 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 指定HDFS数据的存放目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive -->
<property>
    <name>hadoop.proxyuser.root.h