Hadoop集群搭建
一、前期准备
机器名 | IP |
---|---|
hadoop11 | 192.168.1.11 |
hadoop12 | 192.168.1.12 |
hadoop13 | 192.168.1.13 |
1.使用VMvare新建hadoop11
1)新建虚拟机,选择光盘映像文件位置
2)选择系统为linux,Cent OS7
3)设置虚拟机名称为hadoop11,选择存储位置,注意:路径最后一层起名hadoop11,方便系统管理
4)设置磁盘大小为40G
5)编辑虚拟机设置,配置内存和处理器,这里根据实际需要配置即可,点击开启此虚拟机,进行安装
Ctrl+Alt:呼出鼠标
6)点击安装分区,选择完成
7)设置root密码为hadoop
8)等待安装完成后,点击重启即可
2.配置hadoop11网络
1)用root用户登录hadoop11
2)编辑配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#新增如下内容
IPADDR=192.168.1.11 #本机ip
GATEWAY=192.168.1.2 #网关
NETMASK=255.255.255.0
DNS1=114.114.114.114
#修改如下内容
BOOTPROTO=static #静态ip
ONBOOT=yes
3)重启网卡
#重启网卡
systemctl restart network
#查看本机ip
ip addr
4)设置hadoop11为NAT模式,hadoop11与VMware的NAT配置必须在同一网段下,192.168.1.XXX
3.配置VMware网络
本次搭建使用NAT模式网络:同一台机器互相可以访问,局域网下无法直接访问
1)编辑–>虚拟网络编辑器,选择Vmnet8,NAT模式
设置子网、子网掩码
2)DHCP设置
设置可用ip范围
3)NAT设置
设置网关
4.配置PC机虚拟网卡VMnet8 IPv4
注意网关和DNS服务器的配置
5.验证网络
1)检查hadoop11是否可以联网
ping www.baidu.com
2)hadoop11和PC机是否可相互访问
①hadoop11–>PC
ping 192.168.XXX.XXX #本地PC的ip
②PC–>hadoop11
ping 192.168.1.11
6.使用SSH工具访问hadoop11
7.安装常用的插件
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
8.修改机器名与映射
#1)更改本机名
sudo hostnamectl --static set-hostname hadoop11 #重启或再次启动机器后生效
#2)增加机器名与ip的映射关系
sudo vim /etc/hosts
#新增如下内容
192.168.1.11 hadoop11
192.168.1.12 hadoop12
192.168.1.13 hadoop13
#3)增加PC机的机器名与ip映射,便于PC通过机器名直接访问虚拟机
编辑C:\Windows\System32\drivers\etc下的hosts文件
#新增如下内容
192.168.1.11 hadoop11
192.168.1.12 hadoop12
192.168.1.13 hadoop13
9.关闭防火墙&新建用户&赋root权限
#1)关闭防火墙
sudo systemctl status firewalld #查看防火墙状态
sudo systemctl stop firewalld #关闭防火墙
sudo systemctl disable firewalld #开机不启动防火墙,等同于永久关闭防火墙
#2)新建用户
sudo useradd hduser #新建用户
sudo passwd hadoop #为新建用户设置密码为:hadoop
#3)为hduser赋予root权限
visudo #通过此命令编辑/etc/sudoers,修改内容如下
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
#在此处新增如下内容
hduser