虚拟机搭建hadoop集群

由于之前工作都是在搭建好的大数据平台上，没有自己搭建过集群，所以这两天在自己的笔记本上折腾了一下，开了三个虚拟机，搭建了hadoop集群环境。由于搭建过程中遇到了很多坑，所以记录一下。
照着b站上搭建视频，一步步搭建。搭建环境主要是靠细致和经验，耗时耗力。但是即使照着弄，也会出现一些问题。

1. 搭建第一台虚拟机环境。一共需要建三个虚拟机，只要把第一个环境搭建好，后边的克隆就可以。需要把hadoop和java的包传上去，然后配置一下就可以了。需要注意的点就是：
   先关闭防火墙，把防火墙设置永久关闭

查看防火墙状态
systemctl status firewalld.service
关闭运行的防火墙
systemctl stop firewalld.service
永久关闭防火墙
systemctl disable firewalld.service

添加对应主机的名称和地址，这个是要对应的，而且用到的都要填上，不然找不到地址了

vi /etc/hostname
192.168.1.100   hadoop100
192.168.1.101   hadoop101
......

设置静态ip和主机名，相当与确定地址

#改静态ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.101
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2
NAME=eth0
#改主机名
vim /etc/sysconfig/network
HOSTNAME=hadoop101

2. 把上边第一台虚拟机克隆两台，这样就有了三台虚拟机。在克隆的两台虚拟机上只需要改静态ip和主机名。hadoop的配置文件三台保持一致就可以。
3. 最后就是设置一下一起启动，就是设置免密登录，然后就可以在一台机器上启动。

这样hadoop就配置成功了。还是很吃内存，笔记本12G勉强撑起。