前提:Hadoop集群搭建方案,这里要搭建HDFS和Yarn集群
HDFS:
NameNode:node1
SecondaryNameNode:node2
DataNode:node1、node2、node3
Yarn:
ResourceManager:node1
NodeManager:node1、node2、node3
一、Hadoop的搭建
1、安装
下载好Hadoop的.tar.gz的安装包后,解压到软件的目录下/export/server
cd /export/software
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server
在node1上进入Hadoop的配置文件目录
cd /export/server/hadoop-3.3.0/etc/hadoop
2、在node1上对Hadoop的相关文件进行配置
(1)hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_241
#文件最后添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
说明:添加jdk的路径,并对各个角色赋予root权限
(2) core-site.xml
<!-- 指定HDFS的主节点NameNode在ndoe1上 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<!-- 指定HDFS数据的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/hadoop-3.3.0</value>
</property>
<!-- 设置HDFS web UI用户身份 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<!-- 整合hive -->
<property>
<name>hadoop.proxyuser.root.h