文章目录
前言
接触大数据一年半的时间,自己动手搭建过Hadoop+Spark+Zookeeper高可用集群,做过一两个小项目(电影推荐、网络流量异常检测),对于新手来说搭建平台是一件棘手的问题,网上的一些博客或多或少都有一些小的BUG,所以决定写一系列搭建分布式平台的博客以供大家学习参考。如果搭建过程中出现什么BUG欢迎下方留言讨论。
1. 实验环境
- Windows 10家庭中文版
- VMware Workstation 15
- CentOS-6.9-x86_64-minimal.iso
- jdk-1.8
- Hadoop-2.6.5
- zookeeper-3.4.10
- Scala-2.11.12
- spark-2.4.3
2. 实验集群
2.1 集群架构图
2.2 集群网络配置
机器 | 用户名 | IP | Hadoop | Spark |
---|---|---|---|---|
Master001 | hadoop | 192.168.5.140 | NameNode | master |
Master002 | hadoop | 192.168.5.141 | NameNode | master |
Slave001 | hadoop | 192.168.5.142 | DataNode | slave |
Slave002 | hadoop | 192.168.5.143 | DataNode | slave |
Slave003 | hadoop | 192.168.5.144 | DataNode | slave |
其中集群的网络配置是基于NAT网络技术的,下文中会详细讲解。通过集群架构图和网络配置希望大家能对集群先有一个总体的了解。
3. 系统安装
关于CentOS6.9 系统在虚拟机上的安装,网络资源很多,本文不再赘述。
4. 系统网络配置
4.1 VMware的配置
打开虚拟机,点击编辑,会有一个虚拟网络编辑器,打开之后可以看到:
打开NAT设置,可以看到:
注意:这里的网关地址后续需要用到,我设置为192.168.5.0网段是由于我物理机中Vmnet8的网络地址是192.168.5.1,可根据自身情况自行更改,当然后续配置文件也需要更改。
4.2 虚拟机的网络配置
4.2.1 修改ifcfg-eth0文件
注意:如果不修改ifcfg-eth0文件,使用ifconfig命令查看ip地址时,只能看到逻辑接口。
ifcfg-eth0 文件存放在/etc/sysconfig/network-scripts/目录中,该文件主要存放的是网络接口的脚本文件。
在配置ifcfg-eth0文件时,有一个坑!!!,在进行ifcfg-eth0配置时,其中参数DEVICE和HWADDR必须与/etc/udev/rules.d/70-persistent-net.rules最后一条一致!
所以,我们在配置ifcfg-eth0文件时,应该如下写:
下面解释一下各字段的含义:
字段 | 说明 |
---|---|
DEVICE | 接口名 |
HWADDR | MAC地址 |
TYPE | 网络类型 |
ONBOOT | 设置是否开启网络链接 |
BOOTPROTO | 设置获取IP的方式:static or dhcp |
4.2.2 修改resolv.conf文件
此文件位于:/etc/resolv.conf ,主要用于DNS域名解析,此处只需要插入一条自己的网关地址即可:
nameserver 192.168.5.2
4.3 重新启动网络服务
service network restart
出现以上界面,则说明重启成功,然后使用ifconfig命令查看IP地址:
4.4 验证网络
ping 192.168.5.1
ping www.baidu.com
5. 基础信息配置
之所以现在才写基础信息配置,是因为我认为网络配置较为重要,所以放在了前面,由于基础信息配置较为简单,不再加以赘述,直接给出shell语句和配置信息。
5.1 修改主机名
vi /etc/sysconfig/network
HOSTNAME=master001
5.2 设置hosts文件
vi /etc/hosts
注意:修改主机名后,需重启才生效,使用reboot命令即可。
5.3 创建用户
这个可以根据个人喜好,不过处于安全性考虑建议大家创建普通用户。
adduser hadoop
passwd hadoop
su -l hadoop
以上三条命令分别是,创建用户,设置密码,登录。
6. 安装Xshell
下载链接:https://xshell.en.softonic.com/
最好是把Xftp一起下载后安装,方便后期上传文件。
下载完成后,基本无脑next操作即可连接上虚拟机。
未完待续。。。