【编程语言】Spark 下载及安装教程 CentOS 7

一、Spark安装准备

安装Spark之前应该先做如下准备工作：

1、将主机名与ip地址绑定

2、安装jdk

3、安装Hadoop

4、安装Scala

上述四项准备工作在之前博文中有详细的描述，在此不再赘述。点击上述四项中的某一项即可转入相应教程。

二、Spark下载

进入Apache下的Spark下载页面，找到如下图所示的界面位置，选择相应的版本进行下载

下载成功则出现如下图所示的压缩文件

三、Spark安装

1、解压spark安装文件到指定目录

# tar xfvz spark-2.0.0-bin-hadoop2.6.tgz -C /user-software/

2、配置spark环境变量
   编辑profile文件

#vim /etc/profile
export SPARK_HOME=/user-software/spark-2.0.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

3、更新并保存profile文件

#source /etc/profile

4、修改配置文件( 所有文件配置完成之后需要重新启动才能生效)
   
   复制并重命名文件spark-env.sh.template为spark-env.sh，修改此文件

HADOOP_CONF_DIR=/user-software/hadoop-2.6.4/etc/hadoop
JAVA_HOME=/user-software/jdk1.8.0_101
SCALA_HOME=/user-software/scala-2.10.6

SPARK_MASTER_HOST=littlebei.org
SPARK_MASTER_PORT=8040
SPARK_MASTER_WEBUI_PORT=8041
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=2000m
SPARK_WORKER_PORT=8030
SPARK_WORKER_WEBUI_PORT=8031
SPARK_WORKER_INSTANCES=1

   复制并重命名文件slaves.template为slaves，修改此文件

#localhost
littlebei.org

   复制并重命名文件spark-defaults.conf.template为spark-defaults.conf，修改此文件

spark.master                       spark://littlebei.org:8040

5、启动master和slaves

sbin/start-master.sh
sbin/start-slaves.sh

6、测试spark是否安装成功
   启动成功后，访问 Web 界面 http://littlebei.org:8041/   master信息

   

  运行自带示例：# bin/run-example SparkPi

  

  若出现以上结果则说明安装成功

7、运行spark-shell

# bin/spark-shell

8、退出spark-shell

scala> :quit