CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建

本文介绍在VMware下建立3台CentOS7系统虚拟机，搭建hadoop+spark的全过程。这里三台CentOS主机分别为Mars、Phobos、Deimos。

---

CentOS最小化安装

注：这一part基本没什么难度，简单叙述下就略过。

访问CentOS官网，选择DVD ISO,下载CentOS-7-x86_64-DVD-1511.iso。

在VMware中创建虚拟机，安装CentOS7,选择Minimal ISO安装。

安装过程中，设置root用户的密码，并新建一个管理员用户hadoop，专门用于hadoop+spark操作。

VMware的网络适配器配置为自定义(U):特定虚拟网络下的VMnet8(NAT模式)。选择这一配置是为了从宿主机通过SecureCRT连到虚拟机。

CentOS网络设置

CentOS7最小化安装默认不支持ifconfig，网卡也处于关闭状态，因此先修改配置：

[hadoop@Mars ~]$ cd /etc/sysconfig/network_scripts
[hadoop@Mars network_scripts]$ ls

可以看到 ifcfg-enoxxxxx 这一网卡配置文件。

[hadoop@Mars network_scripts]$ sudo vi ifcfg-enoxxxxx

将ONBOOT=no修改为ONBOOT=yes，开启网卡。
根据自己的网络情况添加以下配置：

IPADDR=192.168.253.101
NETMASK=255.255.255.0
GATEWAY=192.168.253.2

保存退出。

[hadoop@Mars ~]$ sudo service network restart

这时虚拟机可以连接网络了，如果想使用ifconfig，可以

[hadoop@Mars ~]$ sudo yum install net-tools
...
[hadoop@Mars ~]$ ifconfig -a

修改hosts文件

[hadoop@Mars ~]$ sudo vi /etc/hosts

在最前面添加：

192.168.253.101 Mars
192.168.253.102 Phobos
192.168.253.103 Deimos
...

保存退出。

[hadoop@Mars ~]$ sudo service network restart

防火墙配置

这里对防火墙的配置如下。如果只是实验学习，非搭建业务生产环境，可忽略此part。

• 关闭firewall

[hadoop@Mars ~]$ systemctl stop firewalld.service #停止firewall
[hadoop@Mars ~]$ systemctl disable firewalld.service #禁止开机启动firewall

• 安装iptables

[hadoop@Mars ~]$ sudo yum install iptables-servicec #安装
[hadoop@Mars ~]$ vi /etc/sysconfig/iptables 
# Firewall configuration written by system-config-firewall 
# Manual customization of this file is not recommended. 
*filter 
:INPUT ACCEPT [0:0] 
:FORWARD ACCEPT [0:0] 
:OUTPUT ACCEPT [0:0] 
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 
-A INPUT -p icmp -j ACCEPT 
-A INPUT -i lo -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT 
-A INPUT -j REJECT --reject-with icmp-host-prohibited 
-A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT 
:wq! #保存退出
[hadoop@Mars ~]$ systemctl restart iptables.service #启动服务
[hadoop@Mars ~]$ systemctl enable iptables.service #开机启动

JDK安装

下载jdk-7u79-linux-x64.tar.gz通过宿主机的SecureCRT连接192.168.253.101，Connect SFTP Session传输到虚拟机目录,并解压到/usr/lib/jvm目录下：

[hadoop@Mars ~]$ tar -zvxf jdk-7u79-linux-x64