Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建

作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond

本节主要内容

1. 操作系统环境准备
2. Hadoop 2.4.1集群搭建
3. Spark 1.5.0 集群部署

注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经过测试），经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭建。大家可以利用CentOS 6.5进行尝试，如果有问题，再利用ubuntu 10.04搭建，所有步骤基本一致

1. 操作系统环境准备

（1）安装VMWare

  下载地址：http://pan.baidu.com/s/1bniBipD
  密码：pbdw
  安装过程略

（2）下载操作系统并安装

Ubuntu 10.04操作系统下载地址：

链接：http://pan.baidu.com/s/1kTy9Umj 密码：2w5b

CentOS 6.5下载地址：

下载地址：http://pan.baidu.com/s/1mgkuKdi
密码：xtm5

本实验要求装三台：CentOS 6.5，可以分别安装，也可以安装完一台后克隆两台，具体过程略。初学者，建议三台分别安装。安装后如下图所示：

（3）CentOS 6.5网络配置

安装好的虚拟机一般默认使用的是NAT（关于NAT、桥接等虚拟机网络连接方式参见本人博客：http://blog.csdn.net/lovehuangjiaju/article/details/48183485），由于三台机器之间需要互通之外，还需要与本机连通，因此采用将网络连接方式设置为Bridged（三台机器相同的设置），如下图所法：

修改主机名

（1）修改centos_salve01虚拟机主机名：

vim /etc/sysconfig/network

/etc/sysconfig/network修改后的内容如下：

（2）vim /etc/sysconfig/network命令修改centos_slave02虚拟机主机名
/etc/sysconfig/network修改后的内容如下：

（3）vim /etc/sysconfig/network命令修改centos_slave03虚拟机主机名
/etc/sysconfig/network修改后的内容如下：

修改主机IP地址

在大家在配置时，修改/etc/sysconfig/network-scripts/ifcfg-eth0文件对应的BOOTPROT=static、IPADDR、NETMASK、GATEWAY及DNS1信息即可

（1）修改centos_salve01虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:3f:69:4d"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"
IPADDR="192.168.1.111"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="8.8.8.8"

（2）修改centos_salve02虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:64:f9:80"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"
IPADDR="192.168.1.112"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="8.8.8.8"

（3）修改centos_salve03虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:1e:80:b1"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"
IPADDR="192.168.1.113"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="8.8.8.8"

/etc/sysconfig/network-scripts/ifcfg-eth0文件内容解析：

DEVICE=eth0                 //指出设备名称
BOOTPROT=static             //启动类型 dhcp|static，使用桥接模式，必须是static
HWADDR=00:06:5B:FE:DF:7C    //硬件Mac地址
IPADDR=192.168.0.2          //IP地址
NETMASK=255.255.255.0       //子网掩码
NETWORK=192.168.0.0         //网络地址
GATEWAY=192.168.0.1         //网关地址
ONBOOT=yes                  //是否启动应用
TYPE=Ethernet               //网络类型

设置完成后，使用

service network restart

命令重新启动网络，配置即可生效。

设置主机名与IP地址映射

（1）修改centos_salve01主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave01.example.com  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1       slave01.example.com
192.168.1.111 slave01.example.com
192.168.1.112 slave02.example.com
192.168.1.113 slave03.example.com
具体如下图：

（2）修改centos_salve02主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave02.example.com  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1       slave02.example.com
192.168.1.111 slave01.example.com
192.168.1.112 slave02.example.com
192.168.1.113 slave03.example.com

具体如下图：

（3）修改centos_salve03主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave03.example.com  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1       slave03.example.com
192.168.1.111 slave01.example.com
192.168.1.112 slave02.example.com
192.168.1.113 slave03.example.com

修改主机DNS

采用下列命令设置各主机DNS（三台机器进行相同的设置)

vim /etc/resolv.conf 

设置后的内容：

# Generated by NetworkManager
search example.com
nameserver 8.8.8.8

8.8.8.8为Google提供的DNS服务器

网络连通测试

前面所有的配置完成后，重启centos_salve01、centos_salve02、centos_salve03使主机名设置生效，然后分别在三台机器上作如下测试命令：
下面只给出在centos_salve01虚拟机上的测试

[root@slave01 ~]# ping slave02.example.com
PING slave02.example.com (192.168.1.112) 56(84) bytes of data.
64 bytes from slave02.example.com (192.168.1.112): icmp_seq=1 ttl=64 time=0.417 ms
64 bytes from slave02.example.com (192.168.1.112): icmp_seq=2 ttl=64 time=0.355 ms
64 bytes from slave02.example.com (192.168.1.112): icmp_seq=3 ttl=64 time=0.363 ms
^C
--- slave02.example.com ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2719ms
rtt min/avg/max/mdev = 0.355/0.378/0.417/0.031 ms
[root@slave01 ~]# ping slave03.example.com
PING slave03.example.com (192.168.1.113) 56(84) bytes of data.
64 bytes from slave03.example.com (192.168.1.113): icmp_seq=1 ttl=64 time=0.386 ms
64 bytes from slave03.example.com (192.168.1.113): icmp_seq=2 ttl=