spark安装配置及其spark shell练习

1、下载spark压缩包，在虚拟机上解压安装

2、配置

     在conf中复制spark-env.sh.template并重命名为spark-env.sh

     mv spark-env.sh.template spark-env.sh

文件中添加如下配置：

export JAVA_HOME=/root/apps/jdk1.8.0_201
#export SPARK_MASTER_HOST=hdp-1
#export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp-1,hdp-2,hdp-3,hdp-4 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=8
export SPARK_WORKER_MEMORY=6g
export SPARK_LOCAL_IP="192.168.150.151"

配置ha时需把上面两行注掉，不然其他机器启动master会失败

修改slaves在文件最后添加其他主机名：

hdp-2
hdp-3
hdp-4

启动spark（启动之前必须开启hdfs、yarn、zookeeper）：

start-all.sh

./zkmanager.sh start