1、集群部署规划
注意:NameNode和SecondaryNameNode不要安装在同一台服务器
注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。
2、将hadoop安装包从Xftp上传到/opt/software
3、解压安装文件到/opt/module下面
[xiaobuding@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4、配置环境变量,打开/etc/profile.d/my_env.sh文件
[xiaobuding@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
添加如下代码:
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
5、分发环境变量文件
[xiaobuding@hadoop102 hadoop-3.1.3]$ sudo xsync /etc/profile.d/my_env.sh
6、source生效(3台节点)
[xiaobuding@hadoop102 module]$ source /etc/profile.d/my_env.sh
[xiaobuding@hadoop103 module]$ source /etc/profile.d/my_env.sh
[xiaobuding@hadoop104 module]$ source /etc/profile.d/my_env.sh
7、配置集群
1)核心配置文件
配置core-site.xml
[xiaobuding@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[xiaobuding@hadoop102 hadoop]$ vim core-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为xiaobuding -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>xiaobuding</value>
</property>
<!-- 配置该xiaobuding(superUser)允许通过代理访问的主机节点 -->
<property>
<name>hadoop.proxyuser.xiaobuding.hosts</name>
<value>*<