搭建HADOOP分布式集群(三台)

搭建HADOOP分布式集群(三台)

安装一台VMware workstation pro16
设置为net模式，vm-net8
设置静态网络
cd /etc/sysconfig/network-scripts/
ls
vim ifcfg-ens33
BOOTPROTO-"dhcp"改为 "static"IPADDR=”192.168.3.120”（子网地址）
NETMASK=”255.255.255.0”(子网掩码)
NETWORK=”192.168.3.0”（子网网段）(要和虚拟机的网络编辑器内的net模式中的网段相同）
GATEWAY=”192.168.3.2”(网关)
DNS1=”8.8.8.8”(域名解析服务器)
修改主机名称
vim /etc/hostname
hadoop01
vim /etc/hosts
192.168.3.120 hadoop01
192.168.3.130 hadoop02
192.168.3.140 hadoop03
关闭防火墙
systemctl stop firewalld.service (临时有效)
systemctl disable firewalld(重启有效)
重启 reboot
查看此虚拟机的IP
ifconfigping
百度是否能拼通
ping www.baidu.com
安装Java环境
cd /etcmkdir hadoop
解压缩
tar -xvf jdk_1.8.0.tar.gz -C /etc/hadoop
修改文件名
mv jdk_1.8.0 java
配置环境变量
vim /etc/profile
export JAVA_HOME=/etc/hadoop/java
export PATH=$PATH:$JAVA_HOME/bin
刷新
source /etc/profile
输入java，验证是否安装成功
java
打开java路径，查看java的安装包是否完整
cd /etc/hadoop/java
ls
jre bin …
克隆此虚拟机两次，一共三台虚拟机。
并修改子网IP，主机名，ping百度
三台虚拟机免密钥登录
cd ssh-keygen -t rsa (一直按回车就可以(生成密钥))
三台虚机互相之间全部能够互通
ssh copy 192.168.3.120
ssh copy 192.168.3.130
ssh copy 192.168.3.140
在三台虚机中均执行此操作
在hadoop01中
ping hadoop02
ping hadoop03
设置3台虚机时间同步，我这里使用的是阿里云的。
关闭selinux安全模块
vim /etc/selinux/config
SELINUX=DISABLE
重启 reboot（三台）
安装Hadoop环境(伪分布式）
解压缩
tar -xvf hadoop~~.tar.gz -C /etc/hadoop
修改文件名
mv hadoop~~ hadoop
配置环境变量
vim /etc/profile
export HADOOP_HOME=/etc/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新
source /etc/profile
修改配置文件
cd /etc/hadoop/hadoop/etc/hadoop/
ls
配置slaves文件
vim slaves
hadoop02
hadoop03
②配置文件core-site.xml
vim core-site.xml


fs.defaultFShdfs://hadoop01:9000


③配置文件 hdfs-site.xml
vim hdfs-site.xml


dfs.namenode.secondary.http-addresshadoop02:50090


dfs.replication
1


dfs.name.dir/etc/hadoop/hadoop/data/namenode

dfs.data.dir/etc/hadoop/hadoop/data/datanode

dfs.tmp.dir
/etc/hadoop/hadoop/data/tmp


dfs.namenode.safemode.threshold-pct:
0.55


dfs.permissions.enabled
false


④配置mapred-site.xml 文件
vim mapred-site.xml


mapreduce.framework.nameyarn


⑤配置 yarn-site.xml 文件
vim yarn-site.xml

yarn.resourcemanager.hostnamehadoop01


yarn.nodemanager.aux-servicesmapreduce_shuffle

⑥配置hadoop-env.sh文件
vim hadoop-env.sh
export JAVA_HOME=/etc/hadoop/java
export HADOOP_CONF_DIR=/etc/hadoop/hadoop/etc/hadoop
创建data文件夹
cd /etc/hadoop/hadoop
mkdir data
主机的hadoop搭建成功后，将相关文件复制到其他的子节点中
scp -r /etc/hadoop/hadoop hadoop02:/etc/hadoop
scp -r /etc/hadoop/hadoop hadoop03:/etc/hadoop
scp -r /etc/profile hadoop02:/etc
scp -r /etc/profile hadoop03:/etc
到两个子节点中查看
ssh hadoop02
vim /etc/profile
source /etc/profile
cd /etc/hadoop/
ls
应该会有java hadoop
ssh hadoop03
vim /etc/profile
source /etc/profile
cd /etc/hadoop/
ls
应该会有java hadoop
启动:
格式化:hdfs namenode -format
启动命令：start-all.sh
或者
start-dfs.sh (启动hdfs)
start-yarn.sh(启动yarn）
web界面http://192.168.3.120:50070/
[注意]
配置文件看评论