Spark环境搭建（on yarn）

1)第一步：首先保证有一个Hadoop集群，然后部署一个spark客户端节点

注意：Spark的客户端节点同时也需要是Hadoop的客户端节点，因为Spark需要依赖于Hadoop

2）解压spark安装包，配置环境

重命名spark-env.sh.template 为 spark-env.sh

修改内容：指定JAVA_HOME和Hadoop的配置文件目录

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

3）测试是否成功

提交个spark任务：

 bin/spark-submit  --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster   examples/jars/spark-examples_2.11-2.4.3.jar  2