Spark集群安装配置

1、先下载Spark源码包，进行自定义编译

Spark编译

2、配置spark-evn.sh

注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，如果配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

export SPARK_HOME=/opt/modules/spark-2.1.3-bin-2.6.0-cdh5.13.1
export SCALA_HOME=/opt/modules/scala-2.11.8
export JAVA_HOME=/opt/modules/jdk1.8.0_171
export HADOOP_HOME=/opt/modules/hadoop-2.6.0-cdh5.13.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=192.168.11.70
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
SPARK_LOCAL_DIRS=/opt/modules/spark-2.1.3-bin-2.6.0-cdh5.13.1
SPARK_DRIVER_MEMORY=1G

配置worker，从节点

mv slaves.template slaves
vim slaves

hnode2
hnode3

3、将配置好的目录分发至各节点

scp -r hadoop@192.168.11.70:/opt/modules/spark-2.1.3-bin-2.6.0-cdh5.13.1 /opt/modules/

配置日志

vim conf/spark-default.conf

4、启动

bin/start-all.sh

在主节点上多了Master进程

查看从节点

表明启动成功
进入Spark的Web管理页面：http://192.168.11.70:8080

5、日志配置

vim spark-defaults.conf

spark.eventLog.enabled=true   #true表示打开 
spark.eventLog.dir=                  #hdfs路径   

配置日志查看服务History-server