hadoop3.1.4完全分布式搭建
部署集群相关的包
https://pan.baidu.com/s/1uy5tM1lZ6owB3hw9jc7yug
提取码:w47b
1 关闭防火墙
1.1关闭防火墙
systemctl stop firewalld.service
1.2 禁止firewall开机启动
systemctl disable firewalld.service
1.3 查看防火墙状态
systemctl status firewalld
2 jdk和hadoop环境变量配置
2.1 上传包
使用相应的工具将Hadoop和jdk压缩包上传至虚拟机
2.2 将包移动到相应的位置
sudo mv hadoop-3.1.4-bin-snappy-CentOS7.tar.gz jdk-8u241-linux-x64.tar.gz /opt/software/
2.3 将包解压到相应的目录下
sudo tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/
sudo tar -zxvf hadoop-3.1.4-bin-snappy-CentOS7.tar.gz -C /opt/module/
2.4 修改名称
sudo mv hadoop-3.1.4/ hadoop
sudo mv jdk1.8.0_241/ jdk
2.5 环境变量配置
sudo vim /etc/profile.d/my_env.sh
进入后在其中配置jdk和hadoop的环境变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source一下该目录,使环境变量生效
source /etc/profile
查看是否配置成功
java -version
3 hadoop文件配置
3.1 core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>zmj</value>
</property>
</configuration>
3.2 hdfs-site.xml
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>salve1:9868</value>
</property>
</configuration>
3.3 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>salve2</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
3.4 mapred-site.xml
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
3.5 配置workers
master
salve1
salve2
4 克隆虚拟机
选择虚拟机,右键管理,选择克隆
克隆后,分别对虚拟机的IP地址和主机名及主机映射进行修改
su root
vim /etc/hostname
vim /etc/hosts
192.168.10.5 master
192.168.10.6 salve1
192.168.10.7 salve2
5 无密登录配置
输入三次回车之后形成如下
ssh-keygen -t rsa
进入.ssh目录
cd .ssh
将公钥拷贝至另外两台虚拟机
ssh-copy-id salve1
ssh-copy-id master
将该操作分别在每台虚拟上进行操作
6 集群启动
6.1 集群初始化
hdfs namenode -format
6.2 启动集群
./start-all.sh
jps
部署集群相关的包
提取码: g2y7