CentOS7环境下Spark集群的配置

1. 解压缩到/home/hadoop/

1. spark-2.2.0
2. scala-2.11.7

2. 配置环境变量/etc/profile

1. 为避免与hadoop默认启动命令同名,spark/sbin中的start-all.sh和stop-all.sh分别改为start-spark-all.sh和stop-spark-all.sh
2. scala写入bin
3. spark写入bin和sbin

3. 修改spark配置文件 spark-env.sh

1. 由模板spark-env.sh.template改名而来
2. 文件尾行写入以下配置参数

export JAVA_HOME=/usr/java/jdk1.8.0_144
export SCALA_HOME=/home/hadoop/scala-2.11.7
export HADOOP_HOME=/home/hadoop/hadoop-2.9.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-