Spark集群安装

Spark集群安装

1      环境准备

网上的资料真的是太混乱了，写的都是乱七八糟。还得自己动手

1.1   机器环境

使用vmware准备三台机器

192.167.2.10 Master

192.167.2.11 Slave1

192.167.2.12 Slave2

注意一定要在/etc/sysconfig/network和hosts中修改主机名称和ip映射。在spark中是通过主机名称来找master。

 

1.2   软件环境

创建用户spark或者hadoop这个随意，最好修改一下/etc/sudoers文件，让这些用户有sudo的权限方便。

1.3   需要安装的软件

1)jdk-8u92-linux-x64.gz

2) hadoop-2.7.3.tar.gz

3) spark-2.0.2-bin-hadoop2.7.tgz

这是最小安装

1.4   关闭防火墙

Systemctl stop firewalld

Systemctl disable firewalld

2      安装java

这个简单，我就直接写命令了

tar –zvxf jdk-8u92-linux-x64.gz

sudo mv jdk1.8.92 /usr/local/jdk

 

修改.bash_profile

Export JAVA_HOME=/usr/local/jdk

Export PATH=$PATH:$JAVA_HOME/bin

 

然后source .bash_profile使其生效。这个简单，也可以子啊/etc/profile中修改。三个机器要安装。建议三台机器安装的路径要一致。