说明
本文档指导Spark On Yarn的大数据开发平台搭建流程。共涉及如下系统:Hadoop, Spark, NTP, HBase。这是今年六月份做的Spark On Yarn集群环境搭建的试验,主要服务于自己的一个青年自然科学基金。实际搭建过程中发现网上虽然各方面都有教材,但很多换个操作系统、软件就出现了问题,且有些地方总有些不严谨。本着认真负责的态度,对自己的搭建过程进行了记录,希望能够帮到也被各种坑困扰的同仁。因为单位里是内网机,截图略少。
一、环境及版本简介
安装环境:
操作系统:Centos7.0
三台虚拟机,配置在Esxi5.0下,通过客户端工具VMware vSphere Client连接并操作。
软件版本:
JAVA版本:1.7.0_75 OpenJDK
Hadoop版本:2.6.0
SCALA版本:2.10.5
SPARK版本:1.3.1
HBase版本:1.0.1.1
二、准备工作
1、设置固定IP
修改IP配置文件/etc/sysconfig/network-scripts/ifcfg-ens32,
修改后如下:
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes