hadoop3.1.4完全分布式环境搭建(

部署集群相关的包
https://pan.baidu.com/s/1uy5tM1lZ6owB3hw9jc7yug
提取码：w47b

1 关闭防火墙

1.1关闭防火墙

systemctl stop firewalld.service

1.2 禁止firewall开机启动

systemctl disable firewalld.service

1.3 查看防火墙状态

systemctl status firewalld

2 jdk和hadoop环境变量配置

2.1 上传包

使用相应的工具将Hadoop和jdk压缩包上传至虚拟机

2.2 将包移动到相应的位置

sudo mv hadoop-3.1.4-bin-snappy-CentOS7.tar.gz jdk-8u241-linux-x64.tar.gz /opt/software/

2.3 将包解压到相应的目录下

sudo tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/

sudo tar -zxvf hadoop-3.1.4-bin-snappy-CentOS7.tar.gz -C /opt/module/

2.4 修改名称

sudo mv hadoop-3.1.4/ hadoop

sudo mv jdk1.8.0_241/ jdk

2.5 环境变量配置

sudo vim /etc/profile.d/my_env.sh

进入后在其中配置jdk和hadoop的环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin  
export PATH=$PATH:$HADOOP_HOME/sbin

source一下该目录，使环境变量生效

source /etc/profile

查看是否配置成功

java -version

3 hadoop文件配置

3.1 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>zmj</value>
</property>
</configuration>

3.2 hdfs-site.xml

<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>salve1:9868</value>
</property>
</configuration>

3.3 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>salve2</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

3.4 mapred-site.xml

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

3.5 配置workers

master
salve1
salve2

4 克隆虚拟机

选择虚拟机，右键管理，选择克隆




克隆后，分别对虚拟机的IP地址和主机名及主机映射进行修改

su root 
vim /etc/hostname
vim /etc/hosts

192.168.10.5 master
192.168.10.6 salve1
192.168.10.7 salve2

5 无密登录配置

输入三次回车之后形成如下

ssh-keygen -t rsa

进入.ssh目录

cd .ssh

将公钥拷贝至另外两台虚拟机

ssh-copy-id salve1
ssh-copy-id master

将该操作分别在每台虚拟上进行操作

6 集群启动

6.1 集群初始化

hdfs namenode -format

6.2 启动集群

./start-all.sh
jps

部署集群相关的包
提取码： g2y7