Spark on Yarn+Hbase环境搭建指南（一）准备工作

说明

    本文档指导Spark On Yarn的大数据开发平台搭建流程。共涉及如下系统：Hadoop, Spark, NTP, HBase。这是今年六月份做的Spark On Yarn集群环境搭建的试验，主要服务于自己的一个青年自然科学基金。实际搭建过程中发现网上虽然各方面都有教材，但很多换个操作系统、软件就出现了问题，且有些地方总有些不严谨。本着认真负责的态度，对自己的搭建过程进行了记录，希望能够帮到也被各种坑困扰的同仁。因为单位里是内网机，截图略少。

一、环境及版本简介

安装环境：

操作系统：Centos7.0

三台虚拟机，配置在Esxi5.0下，通过客户端工具VMware vSphere Client连接并操作。

软件版本：

JAVA版本：1.7.0_75 OpenJDK

Hadoop版本：2.6.0

SCALA版本：2.10.5

SPARK版本：1.3.1

HBase版本：1.0.1.1

二、准备工作

1、设置固定IP

修改IP配置文件/etc/sysconfig/network-scripts/ifcfg-ens32，

修改后如下：

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes