Spark环境搭建（多种模式）

个人博客原文链接

Spark环境的搭建相比于Hadoop集群的搭建还是比较简单的，而且跟Hadoop集群的搭建流程也很相似，只是没有Hadoop集群那么多的配置文件要修改。本文中，我将详细介绍Spark的本地模式、Standalone模式（伪分布）、Standalone模式（全分布）、Yarn集群模式的搭建。

搭建环境：CentOS7+jdk8+spark2.3.2+hadoop2.7

Local本地模式

1. 上传并解压spark2.3.2到指定目录
   tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C apps/
2. 添加软链接
   ln -s spark-2.3.2-bin-hadoop2.7 spark
3. 修改环境变量
   vi ~/.bashrc
   添加

export SPARK_HOME=/home/hadoop/apps/spark
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$SPARK_HOME/bin:$JAVA_HOME/bin

source ~/.bashrc
注：此处必须要添加JAVA_HOME的路径，虽然你可能已经在/etc/profile例配置了JAVA_HOME，但是Spark识别不到，后面启动会报找不到JAVA_HOME的错误，所以这里必须再次添加一下JAVA_HOME的路径。
4. 测试是否安装成功
测试运行样例
run-example SparkPi 10
测试shell
spark-shell
测试spark-submit命令
spark-submit --class org.apache.spark.examples.SparkPi /home/hadoop/apps/spark/examples/jars/spark-examples_2.11-2.3.2.jar 100

Standalone模式（伪分布）

1. 上传并解压spark2.3.2到指定目录