基于centos7.6搭建hadoop-3.1.2集群
- hadoop单节点安装。
Hadoop单节点的安装不需要守护进程,所以不需要安装zookeeper。
准备环境centos7.6、java1.8、hadoop-3.1.2。
首先安装虚拟机。我选择的是最小安装,这样会更节省资源,更快一些,但是有些东西会缺少,需要自己手动安装。在创建虚拟机之前点击左上角的虚拟网络编辑器。
之后安装虚拟机的时候网卡会设置成NAT所以这里吧NAT的网段改为192.168.10.0。
设置完成后就可以安装虚拟机了。下面是我的虚拟机配置。
安装完成后先配置网卡信息。
不需要连接外网的话这样就可以了。多余行可以删掉。
主要是标注的这3行进行修改。第一行的dhcp改为static,第二行的no改为yes,第三行是添加上去的,添加的就是这台虚拟机的IP。
然后重启网卡服务。
重启成功。
ip a s 查看网卡信息
可以看到ens33网卡IP修改成功。
关闭防火墙,然后永久关闭防火墙。
然后就可以使用ssh工具连接使用了。这里推荐mobaxterm工具。有安装版和便携版。功能比较全,便携版无需安装使用方便。这软件功能比较多,本人由于英语不好所以正在摸索使用中,有什么好玩功能的东西望大家告知。
点击左上角的session即可开始连接。然后输入自己的虚拟机IP和用户进入连接。
然后输入自己root账户的密码。
连接成功。
修改主机名hostname。
最小安装是没有vim的,我这里是手动装的。
将配置文件中原有的内容删除掉改为hadoop01。这里可以根据自己的选择改,比较随意。
配置完成后reboot重启生效。
然后配置hosts文件,这里因为我后面要装4节点的集群,所以提前把后面的也写好了。
向里面写入对应的IP和主机名。
Ping通说明配置生效。
接下来创建一个新的用户hadoop这个用户将来用来管理hadoop所有的组件。
创建hadoop用户并且设置密码。
然后在/etc/sudoers配置文件里修改hadoop用户的权限。
第一行是本来就有的,添加第二行。
重启生效。
cd到/opt文件夹下新建两个文件夹software和module。software将用来存放传到节点上的安装包,module将成为hadoop组件的安装路径。
然后修改文件夹属主和读写权限。
修改属主。
修改读写权限。