spark部署安装

• 在之前hadoop的五台虚拟机上，继续安装spark，具体操作步骤如下

1.准备环境
2.安装JDK
3.上传spark安装包
4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）

mv spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
export SPARK_MASTER_IP=hdp01

#默认端口号就是7077

export SPARK_MASTER_PORT=7077
mv slaves.template slaves
vi slaves
hdp01
hdp02
hdp03
hdp04
hdp05

5.将配置好的spark安装程序拷贝给其他机器
for i in {2…5};do scp -r spark-2.3.3 hdp01@hdp0$i:$PWD ;done
6.启动spark (sbin/start-all.sh)
问题：Worker怎么知道Master在哪里嗯？读取spark-env.sh文件得知Master在哪里的
7.通过web页面访问spark管理页面（master所在机器的地址+8080端口）
http://hdp01:8080/

• spark集群高可用，修改spark-env.sh配置文件，然后启动zookeeper后再启动spark即可

vi spark-env.sh
#删除 SPARK_MASTER_IP
#增加 下面
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp01,hdp02,hdp03 -Dspark.deploy.zookeeper.dir=/spark"
#设置每台worker的cup核数
export SPARK_WORKER_CORES=1
#设置每台worker的内存分配量
export SPARK_WORKER_MEMORY=512m