由于之前工作都是在搭建好的大数据平台上,没有自己搭建过集群,所以这两天在自己的笔记本上折腾了一下,开了三个虚拟机,搭建了hadoop集群环境。由于搭建过程中遇到了很多坑,所以记录一下。
照着b站上搭建视频,一步步搭建。搭建环境主要是靠细致和经验,耗时耗力。但是即使照着弄,也会出现一些问题。
- 搭建第一台虚拟机环境。一共需要建三个虚拟机,只要把第一个环境搭建好,后边的克隆就可以。需要把hadoop和java的包传上去,然后配置一下就可以了。需要注意的点就是:
先关闭防火墙,把防火墙设置永久关闭
查看防火墙状态
systemctl status firewalld.service
关闭运行的防火墙
systemctl stop firewalld.service
永久关闭防火墙
systemctl disable firewalld.service
添加对应主机的名称和地址,这个是要对应的,而且用到的都要填上,不然找不到地址了
vi /etc/hostname
192.168.1.100 hadoop100
192.168.1.101 hadoop101
......
设置静态ip和主机名,相当与确定地址
#改静态ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.101
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2
NAME=eth0
#改主机名
vim /etc/sysconfig/network
HOSTNAME=hadoop101
- 把上边第一台虚拟机克隆两台,这样就有了三台虚拟机。在克隆的两台虚拟机上只需要改静态ip和主机名。hadoop的配置文件三台保持一致就可以。
- 最后就是设置一下一起启动,就是设置免密登录,然后就可以在一台机器上启动。
这样hadoop就配置成功了。还是很吃内存,笔记本12G勉强撑起。