linux 系统下spark环境的搭建

1.安装jdk

去jdk官网下载对应版本的jdk

安装jdk

tar zxvf 下载的jdk名称

配置环境变量

vi /etc/profile

在文件中写入

export  JAVA_HOME=这里填jdk路径

export PATH=$PATH:$JAVA_HOME/bin

然后退出文件

source /etc/profile

让文件立即生效，不然要重启才会生效

2.安装scala

去scala官网下载scala安装，我这里安装的是2.11.0,版本，不是最新版本

同样解压scala文件，配置环境变量

命令行输入scala，测试是否安装成功

3.安装hadoop

去hadoop官网下载hadoop2.7.1 

然后同样解压，配置环境变量

命令行输入hadoop，测试是否安装成功

4. 安装spark

去spark官网下载对应hadoop2.7版本的spark版本

同样解压，配置环境变量

然后去spark的/bin/conf目录下

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在文件中写入

SPARK_MASTER_IP=122.204.142.120

SPARK_LOCAL_IP=122.204.142.120

在这两个位置填上自己的ip

5.测试安装是否成功

spark-shell