Hadoop分布式集群搭建

Hadoop分布式集群搭建
1.环境准备
2.Hadoop集群安装配置
安装Hadoop
Hadoop集群配置
将Hadoop配置分发到别的服务器中
3.启动Hadoop集群
在NameNode服务器格式化
启动Haoop集群
查看进程
查看HDFS web监控
至此，Hadoop集群部署成功
Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/
JDK下载地址：https://www.oracle.com/technetwo ... nloads-2133151.html

1.环境准备
Hadoop集群部署规划

ip：主机名        作用
192.168.210.100：a        NameNode、DataNode、ResourceManager、NodeManager、SecondaryNameNode
192.168.210.101：a1        DataNode、NodeManager
192.168.210.102：a2        DataNode、NodeManager
准备三台虚拟机。关闭防火墙，设置ip，设置主机名

#不同的Linux版本可能命令不一样
#查看防火墙状态
firewall-cmd --state
#关闭防火墙
service firewall stop
#设置防火墙开机不启动
systemctl disable firewalld.service

修改host文件，使三台虚拟机可以通过主机名的方式进行互相访问

vi /etc/hosts
#配置三台服务器的ip和主机名
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.210.100 a
192.168.210.101 a1
192.168.210.102 a2
将配置发送到其它主机
scp -r /etc/hosts root@a1:/etc/
scp -r /etc/hosts root@a2: