Spark_安装(单机版)

邮箱:yinhaoliang@neusoft.com

一、安装jdk

二、安装spark

link
说明：安装单机版spark只需要安装jdk和spark就可以了，因为spark内置的有scala，可不单独安装spark依赖的scala。这是网上的说法，我因为安装了scala就没有再去卸载

三、下载

四、解压

解压的Linux命令：

-zxvf  spark-2.3.1-bin-hadoop2.7.tgz
为了操作方便，我将解压得到的spark-2.3.1-bin-hadoop2.7文件夹改名为spark-2.3.1了：mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

配置环境变量

#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin

别忘了编辑完保存source

新建spark-env.sh配置文件(spark环境配置文件)
进入spark的conf目录下：cd  /opt/spark-2.3.1/conf/.  
copy一份spark-env.sh：cp  spark-env.sh.template spark-env.sh
然后进入vim编辑模式：vim  spark-env.sh，会提示文件已存在，输入“e”进入编辑模式即可.  
在文件的最后加上如下配置
#export SCALA_HOME=/opt/scala-2.13.0
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64  #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX  #将这里的xxx改为自己的Linux的ip地址
#export SPARK_EXECUTOR_MEMORY=512M
#export SPARK_WORKER_MEMORY=1G
#export master=spark://XXX.XX.XX.XXX:7070

新建slaves配置文件

进入spark的conf目录下:cd  /opt/spark-2.3.1/conf/，
copy一份slaves：cp  slaves.template slaves
然后进入vim编辑模式：vim  slaves，会提示文件已存在，输入“e”进入编辑模式即可。
在文件的最后加上如下配置:

启动Spark

 进入spark的sbin目录：cd  sbin/
 启动spark集群（单机版）： ./start-all.sh